Evaluación de un programa mexicano de maestría en psicología desde la perspectiva del egresado: un estudio sobre los indicadores de calidad*

Sebastián Figueroa Rodríguez**, Blandina Bernal Morales*** y Claudia Karina Andrade Acosta****

** Universidad Veracruzana Correo e: sfigueroa@uv.com

*** Universidad Veracruzana Correo e: bbernal@uv.mx

**** Universidad Veracruzana, Correo e: candrade@uv.mx

Resumen

El objetivo final de la evaluación como elemento sustancial para determinar la calidad de los programas formativos de licenciatura y posgrado consiste en rendir cuentas sobre el desempeño de los productos profesionales generados por ellos. Este trabajo presenta los resultados del tercer estudio sobre egresados de un programa de maestría actualmente registrado en el Programa Nacional de Posgrados de Calidad (PNPC). Además de describir la experiencia típica de esta clase de ejercicios de evaluación, se muestran algunos progresos en cuanto al tipo de análisis factibles en estos casos.

Palabras clave: egresados, evaluación de programas, investigación evaluativa, indicadores educativos, universidades públicas, psicología.

Abstract

The final objective of the evaluation, as a substantial element to determinate the quality of educational programs in both undergraduate and graduate level, it consists of producing reports on the performance of the professional products generated by them. This paper describes the results of a third survey administration experience, addressed to Graduate Students from a masters program enrolled in a postgraduate quality program PNPC. More than to describe a typical follow–up experience, our research looks forward to show the progress about the kind of reasonable analysis to propose a methodology for using in similar programs.

Key words: graduate students, program evaluation, evaluative research, educational indicators, public universities, psychology.

Introducción

El énfasis actual en la evaluación como componente integral de los procesos de planeación y cambio institucional forma parte de un nuevo repertorio de instrumentos de política educativa que iniciaron en México a partir de la segunda mitad de los ochenta, aunque en países más desarrollados ocurrió en décadas anteriores.

Así, la decisión de enfrentar los desafíos que implica asegurar la calidad de la educación superior en el ámbito internacional, tiene como uno de sus referentes al continente europeo, particularmente durante el lapso 1970–1992, cuando el énfasis en la búsqueda de la calidad se dirigió a la satisfacción del cliente con la aparición de campañas, comités y fundaciones orientadas a su gestión por medio de la reingeniería o benchmarking. La Declaración Conjunta de la Sorbona efectuada en 1998 planteó la importancia de crear una sociedad del conocimiento que permitiera alcanzar las competencias necesarias ante los retos del nuevo milenio, principalmente en el marco del Espacio Europeo de Educación Superior (EEES), asunto consignado en la Declaración de Bolognia un año más tarde.

El escenario hacia el año 2010 implica entre otros aspectos, considerar al continente europeo como un referente mundial por la calidad y pertinencia de su sistema educativo y promover su elección como el destino idóneo de estudiantes, eruditos e investigadores (Bricall, 2000: 14; Martos, 2005: 335; Alegre de la Rosa, 2009: 21). Se espera que el trabajo desarrollado por las agencias externas de evaluación de los programas que ofrecen las instituciones de educación superior (IES), complemente el esfuerzo en dirección a la convergencia hacia el EEES (Buela–Casal, 2005: 306).

En los Estados Unidos, el interés por la búsqueda de mecanismos productores de calidad puede ubicarse a partir de 1907 con la evaluación de las carreras de medicina y posteriormente con la acreditación de instituciones completas. Ahí, el esquema de la Accountability o rendición de cuentas encontró un espacio importante en la estructura educativa en el nivel superior, con organizaciones que practican la evaluación externa como parte de sus funciones principales y un incremento en el número de cargos que implicaban el tema de la evaluación o la calidad (Cook, 1998: 32; López, 1998: 59; Colbeck, 1998: 198; Figueroa Rodríguez, 2002: 17).

En Latinoamérica la situación no difiere significativamente de las causas que han llevado a la conformación de un espacio común de formación en Europa. En el posgrado, además, resulta disímbola y las respuestas ante el reto de la creación de programas doctorales en específico ha obtenido respuestas diferenciales, desde un desarrollo significativo en Brasil, México y Cuba, un crecimiento importante concentrado en apenas tres universidades en Chile, hasta una escasa o ninguna respuesta en países como El Salvador, Guatemala, Nicaragua, Paraguay o la República Dominicana (Martos, 2005: 337).

Esta situación, así como la necesidad de horizontalizar la cooperación para mejorar el estado de cosas, llevaron a ministros de la educación de la Unión Europea, América Latina y el Caribe a afirmar la voluntad de favorecer la emergencia de un espacio común de educación superior en el año 2002. Sus objetivos consistían entre otros en: a) favorecer la movilidad de estudiantes de doctorado, b) crear sistemas de créditos compatibles que permitan el reconocimiento y la convalidación de sus estudios, y c) fomentar los intercambios de experiencias referentes a la dirección, evaluación y gestión para el nivel mencionado (Conferencia de Ministros de Educación de la Unión Europea, América Latina y Caribe, 2002 en Martos, 2005: 336).

Las políticas del posgrado en México evolucionaron a partir de la creación de los programas en este nivel en la década de 1940, liderados por la UNAM y el IPN principalmente, aunque enfocados a sólo algunos campos del conocimiento. En 1983, la primera efectuó una revisión con miras a fortalecer la planeación y evaluación sistemáticas de los programas de posgrado.

En 1990 surgen iniciativas como el Programa Nacional Indicativo del Posgrado, con la inclusión formal de la evaluación y la búsqueda de consolidación de este nivel de estudios. Las estrategias implicaban la participación de instancias como la Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES), la Secretaría de Educación Pública (SEP) y el Consejo Nacional de Ciencia y Tecnología (CONACYT).

Igualmente se propone la producción o perfeccionamiento de instrumentos, técnicas y procedimientos de evaluación (SEP, 2007: 57). Es posible advertir en estas políticas las recomendaciones establecidas por organismos de caracter internacional como la UNESCO, el FMI, y el BID, entre otros (Sierra Neves, 2007: 121). Resulta novedosa la búsqueda del aseguramiento de la calidad de la educación superior en la época actual, mediante la creación de organismos nacionales para este fin y las actividades que las IES efectúan con base en el trabajo de tales organismos (Cook, 1998: 33; Barrón Tirado y Díaz Barriga, 2008: 135).

La visión al año 2012, establece que México contará con instituciones que tengan una oferta de posgrados de calidad de reconocimiento internacional, que incorporen la generación y aplicación del conocimiento como un recurso para el desarrollo de la sociedad, así como la atención de sus necesidades, contribuyendo a consolidar con mayor autonomía y competitividad el crecimiento y el desarrollo sustentable del país.

Al efectuar un análisis valorativo de los posgrados en México entre 1980 y 2000, (Reynaga Obregón, 2002: 54), se identificó un incremento sustancial de la demanda acompañado por crecimiento de la matrícula, lo que arrojaba una imagen de mejoría en cobertura pero insuficiente para dar una respuesta pertinente a las necesidades del país, lo que reclamaba una rápida intervención, asunto que en un estudio diagnóstico (Ruiz Gutiérrez et al., 2002: 61) efectuado por 600 académicos que asistieron al XV Congreso Nacional de Posgrado efectuado en la ciudad de Xalapa, Veracruz, se identificó, por una parte, la carencia de un plan maestro de largo alcance en las políticas y la falta de conformación de un verdadero Sistema Nacional de Posgrado con la articulación de planes a corto, mediano y largo plazos, así como un fuerte centralismo, problemas en la eficiencia terminal y tiempos de graduación, desigualdad de la calidad de los programas y la falta de un financiamiento adecuado. Problemas añadidos fueron el envejecimiento de la planta de investigadores y docentes, con una diferencia importante en la producción de los primeros, comparando con países como Estados Unidos, España o Brasil.

En el panorama reciente del posgrado en México, se observa una tendencia a formar cuadros para las propias instituciones de educación superior hacia las actividades de docencia e investigación, si bien la realidad de la globalización económica demanda la preparación de especialistas en el sector de la producción y de los servicios (Cook, 1998: 33; Ruiz Gutiérrez et al., 2002: 6; Arredondo Galván et al., 2006: 19).

Para mejorar el estado de los programas de formación de profesionales e investigadores, se han desarrollado estrategias dirigidas tanto a los PE como a los PP. De los primeros, su reconocimiento recae en un organismo designado al efecto: el Consejo para la Acreditación de la Educación Superior (COPAES). Esta estructura opera a través de organismos acreditadores que evalúan los programas de cada disciplina y que a su vez deben mostrar mecanismos de búsqueda de la mejora continua en su operación. En lo que respecta a los pe en Psicología, en abril de 2004, el Plan Estratégico del Comité de Acreditación del Consejo para la Enseñanza e Investigación en Psicología (CA–CNEIP) estableció entre sus objetivos elevar la calidad educativa a través de procedimientos para la acreditación de dichos programas (Figueroa Rodríguez et al., 2005: 290).

En lo que al posgrado se refiere, el CONACYT opera recursos hacia las IES (que implican el subsidio gubernamental), en específico para aquellas cuya misión institucional incluye la función de investigación científica, humanística o tecnológica, particularmente a través del Padrón Nacional de Posgrados de Calidad (PNPC), el cual es administrado de manera conjunta por la SEP y el propio Consejo. El PNPC se propone fomentar la mejora continua y el aseguramiento de la calidad del posgrado nacional para incrementar las capacidades científicas, tecnológicas, sociales, humanísticas, y de innovación en México (CONACYT, 2007: 5).

El ingreso de los PP en el PNPC es en sí un reconocimiento público a su calidad, con base en procesos de evaluación y seguimiento realizados por un comité de pares, como en cualquier proceso de acreditación. Este Padrón coadyuva al Sistema de Garantía de la Calidad de la Educación Superior, un referente confiable de la calidad de la oferta educativa del posgrado, para la formación de recursos humanos de alto nivel. La Metodología General para la Evaluación y Seguimiento de Programas de Posgrado del CONACYT recoge la experiencia adquirida en México durante los últimos 15 años y toma en cuenta las prácticas internacionales.

Por coadyuvar a la mejora de los posgrados en la disciplina, en el año 2004 se firmó un convenio que dio sustento legal a la Red Multirregional de Programas de Posgrados de Calidad en Psicología para establecer una red de colaboración académica que favoreciera el intercambio, impulsara la movilidad estudiantil y promoviera la realización de investigaciones y publicaciones en las líneas de generación y aplicación del conocimiento (Figueroa Rodríguez, 2007: 1; Arreguín, en Rojas Hernández y Muñiz García, 2008: 8). Significativamente, aunque una de las líneas implicaba el desarrollo de seguimiento de egresados, sólo se contaba con un estudio en esa dirección, realizada como tesis de grado de maestría dirigida por el autor principal de este trabajo (López Suárez, 2004: iii).

Cuales quiera fueran las razones, puede apreciarse la casi total ausencia de estudios de este tipo en lo que respecta a las maestrías inscritas en el PNPC, situación que quizá podría extenderse a las del posgrado en general. Cabe decir que la acreditación, entendida como el proceso por medio del cual se reconoce la calidad de un programa educativo cuando satisface estándares aceptados, puede sin embargo resultar insuficiente si no da cuenta del desempeño de los egresados, a quienes va dirigida la encomienda de intervenir en la problemática social. Es necesario conocer su trayectoria personal, profesional, académica o gremial, con la posibilidad de evaluar las actividades que desarrollan en relación con los estudios cursados (Figueroa Rodríguez et al., 2005: 287; Méndez Fraustro y Pérez Pulido, 2005: 36; Hernández–Guzmán y Sánchez–Sosa, 2005: 279).

Si bien la ANUIES estableció en su momento la guía principal para la elaboración de los estudios de egresados en el país, en México no existe un modelo único de seguimiento eficaz de egresados universitarios ya que se construye teniendo presente la realidad de las IES y la finalidad del estudio.

La premisa central en esta investigación es que los estudios de se pueden constituirse en un elemento decisivo para la aportación de información válida no sólo para el conocimiento del desempeño de los egresados, sino también y de manera importante, para obtener juicios de valor relativos al comportamiento del programa y la sede donde radica el mismo.

Se pueden realizar dos tipos de evaluaciones de los egresados, que permiten tener un panorama sobre la calidad de los planes de estudio. Éstas son: a) el SE y b) los exámenes generales de egreso de la licenciatura. En lo que a la primera temática de investigación se refiere, no obstante ser de actualidad y además requisito para la acreditación, la información resulta escasa, cuando no ausente. Al respecto, un estudio (Peña Carrillo, 2009: 11) efectuado sobre la producción de los congresos del COMIE entre los años 2003 y 2007, señala con claridad que no se encontraron trabajos que hicieran referencia a verdaderos estudios de seguimiento de egresados.

Los procesos de autoevaluación de un programa dado pueden constituirse en oportunidades de conocimiento y reflexión al interior de las IES. Es posible sin embargo, desaprovechar muchos de los beneficios de captar información resultante del desarrollo de las tareas cotidianas. Pasada más de una década, aunque se ha logrado que la evaluación forme parte de la vida de las instituciones, los diferentes programas de evaluación no muestran articulación entre sí y se ha entendido por cultura de la evaluación la aceptación del acto valorativo y de la difusión de sus resultados sin una discusión conceptual de sus tendencias, ni un análisis técnico amplio de sus productos (Díaz Barriga, 2008: 30). Parecería que al menos hasta el presente, no se ha logrado desligar este tipo de ejercicios de su connotación estrictamente administrativa, para volverlo objeto de estudio por los propios académicos y estudiantes adscritos a los programas de posgrado.

Un problema añadido es la carencia de publicaciones que demuestren que los resultados de los estudios de egresados y de la evaluación de programas de posgrado sean empleados regularmente para la toma de decisiones (Moreles Vázquez, 2009: 1), especialmente en aquellos involucrados con programas de calidad. La UPN, la UNAM y la UAM han publicado estudios de egresados de licenciatura y posgrado que se caracterizan por mostrar datos generales de los mismos en los que se reflejó entre otras cosas, la necesidad de la creación de mecanismos que vinculen el trabajo formativo con los requerimientos de desempeño de los egresados además de la falta de la evaluación de su satisfacción y la valoración de la formación que recibieron, del personal docente y la organización académica y administrativa del programa (Sánchez de Osorio y Pabón de Reyes, s/f; Martínez González et al., 1995: 1; SIEEE, 2005: 57).

Existe una diferencia importante entre la realización de ejercicios esporádicos de evaluación y la investigación evaluativa. La evaluación de programas generalmente está comprometida con propósitos específicos de valoración (Martínez Mediano, 1996: 131; Alvira Martín, 1997: 10). Por su parte, la investigación evaluativa consiste en una modalidad de indagación usualmente de carácter aplicado que, efectuada de manera sistemática, utiliza metodologías procedentes de las ciencias sociales en función de sus propósitos y necesidades, que puede desarrollarse sobre la realidad educativa o sobre la evaluación misma, en busca de un mayor grado de generalización (Martínez Mediano, 1996: 35; De Alba y Glazman, 2009: 267). Esto sugiere el acopio permanente de piezas de evaluación para efectuar un análisis continuo de los objetos y sujetos evaluados.

Al respecto Martínez Rizo y Santos del Real (2009: 297) señalan que la evaluación integral de una realidad compleja requiere la combinación de enfoques cuyos alcances y limitaciones se complementen para dar una visión más amplia en la formulación de juicios de valor que apoyen de manera adecuada las decisiones resultantes. Así, la propuesta consiste en emplear el recurso de la investigación evaluativa de modo que se obtenga información consistente con los indicadores establecidos, con un tratamiento que acompañe los esfuerzos del programa involucrado, en pleno ejercicio de la autoevaluación, a efecto de obtener la mejora educativa desde ambas perspectivas: la que establecen las agencias externas y las que la propia comunidad aprecia como deseables.

Se apreció como necesaria la integración de estudios sucesivos planteados básicamente desde la pespectiva postpositivista de Tyler (1949), por su conceptualización del enfoque de evaluación educativa basada en objetivos con instrumentos y procedimientos para medirlos, por considerarlo acorde con los propósitos descritos y el contexto en el cual se desenvuelve la evaluación de programas de posgrado. Un factor importante para la decisión tomada es su concepción del acto evaluativo como la determinación del grado en que los objetivos educativos de un programa son obtenidos (Martínez Mediano, 1996: 149; Mertens, 2005: 51). No se descarta que en el campo de la investigación evaluativa existen diferentes perspectivas que van desde la adoptada por el centrado en el usuario de Michael Scriven (1967), el modelo CIPP de Stufflebeam (1971) enfocado en aspectos clave de la organización y la toma de decisiones, el de Stake (1978) quien sustenta el enfoque metodológico interpretativo en su teoría de la evaluación respondiente, entre otros, quienes han hecho importantes aportaciones al campo (Martínez Mediano, 1996: 177). En el esquema de trabajo seguido en el tipo investigación que se propone, se implica además que los participantes sean integrantes de la propia comunidad, estudiantes y académicos, con productos y obligaciones específicos.

Este trabajo se integra a un conjunto de estudios relativos al tema de la evaluación de PE y PP con el propósito de apoyar en la toma de decisiones y contribuir a superar la dificultad implícita en el uso de la investigación evaluativa (Moreles Vázquez, 2009: 1). Por esta razón, se plasman los hallazgos principales de modo que su uso resulte frecuente y directo por los tomadores de decisiones. Con base en las consideraciones anteriores, el objetivo de esta investigación fue efectuar un estudio de egresados de acuerdo con los indicadores de calidad del PNPC, basado en estudios realizados previamente en un Programa de Maestría inscrito en dicho registro, con vistas a la utilización de subproductos derivados de él, para respaldar las acciones de evaluación requeridas para PP de calidad.

Método

Situación

La investigación se llevó a cabo en las instalaciones de un Instituto de Psicología y Educación de una universidad pública mexicana en el año 2007. Los cuestionarios fueron aplicados en el marco del Tercer Encuentro de Egresados y Estudiantes, que efectuó el Instituto a través del programa denominado Maestría en Investigación en Psicología Aplicada a la Educación (MIPAE).

Participantes

Se abordó a los integrantes de tres cohortes de egresados del programa de la MIPAE, cohortes: 1999–2001, 2001–2003 y 2003–2005, con un total de 27 participantes para el se. El estudio abarcó egresados para quienes habían concluido sus estudios entre 1 y 7 años antes de la aplicación. Para la evaluación de la calidad de este programa se abordó también a 23 alumnos que conformaban la cohorte 2005–2007 y que constituyeron el 96% de la lista de alumnos inscritos; este cuestionario fue respondido por 50 participantes.

Cuestionarios empleados

Éstos se generaron a partir de una cédula para el se propuesta como resultado de la conducción del primer estudio de este tipo, consignado en una tesis de grado (López Suárez, 2004: 331) como parte de una serie de tres investigaciones dirigidas por el autor principal de este trabajo. Se tomó en cuenta el cuestionario que se encuentra en el Esquema Básico para Estudios de Egresados propuesto por la ANUIES (Valenti y Varela, 2003: 22) y 43 fuentes consultadas, procedentes de diferentes IES. Los reactivos que integraron la cédula fueron de opción múltiple tipo escala, de opción múltiple abierta, de opción múltiple cerrada, así como reactivos abiertos, como suele ser el caso de los estudios de encuesta, tipificada aquí como de hechos y de opiniones.

Para la actualización de la cédula se realizó una revisión teórica y metodológica de estudios antecedentes sobre el tema de educación superior. Se buscó el contraste y actualización con respecto de la inclusión de los indicadores de evaluación de los programas del Padrón Nacional de Posgrado (PNP) de CONACYT (2007) y también fueron consultados los indicadores de evaluación actualizados que tenía el Programa para el Mejoramiento del Profesorado (PROMEP, 2006: 69), para las opciones de respuesta de algunos reactivos.

Adicionalmente, se consultaron los apartados del currículum vitae único (CVU) que establece el CONACYT para el registro de la producción académico–científica de sus investigadores o becarios. En resumen, el instrumento contó con las características propias de los estudios de encuesta y recuperó indicadores nacionales de calidad para programas de posgrado.

Como resultado de la consulta, se decidió organizar los reactivos en dos cuestionarios según el objetivo que cumplían. Así, la Forma A contenía preguntas sobre el se, integrada por 37 reactivos en categorías de datos generales, ubicación y desempeño laboral, trayectoria educativa actividad científico–académica. La producción científica incluyó reactivos que recogieron información sobre los indicadores del PNPC, es decir, los productos escritos (artículos, capítulos de libros, libros, revisiones, reportes técnicos, proyectos y patentes), formación de recursos humanos (dirección de tesis) y actividades de divulgación (participación en congresos, radio, tv y prensa). La Forma B, correspondiente a la evaluación del programa de maestría, se integró con 13 reactivos en categorías de datos sobre plan de estudios y servicios.

Después del ajuste señalado, se planearon las condiciones para el correspondiente piloteo de la cédula. Con esta finalidad fueron abordados egresados de cuatro diferentes posgrados de maestría de la propia Universidad inscritos en el PNPC, mediante un muestreo por conveniencia. Como resultado de lo anterior, se corrigieron algunos reactivos y se configuraron las bases de datos para realizar el estudio en la MIPAE.

Procedimiento. Las respuestas de los egresados y estudiantes de la MIPAE fueron recolectados en la base de datos diseñada ad hoc con la paquetería Excel. Se capturaron tanto las respuestas que constituyen las variables categóricas como los datos cuantitativos que corresponden a las respuestas con orden de jerarquización o variables ordinales.

Se realizó un análisis de tipo descriptivo cuyo resultado se presenta en términos de frecuencias y porcentajes. Adicionalmente, se empleó estadística inferencial mediante el programa Sigma Stat V3.0, para determinar si los promedios de los grupos de comparación diferían significativamente unos de otros utilizando para ellos la prueba t de Student y ANOVA de 1 vía, según el caso.

De acuerdo con McBurney y White (2004: 127), es apropiado usar estadística paramétrica con variables de tipo nominal, ordinal, de intervalo y de razón; las pruebas no paramétricas son relativamente poco usadas por su bajo poder de discriminación, comparadas con las pruebas paramétricas. La razón es técnica, las paramétricas usan toda la información presente en los datos, mientras que las no paramétricas sólo usan una porción de ellos. Los resultados se presentan con el porcentaje (indicando entre paréntesis el valor absoluto de los egresados y/o alumnos encuestados) y con la media ± error estándar.

Resultados

Se presentan en esta sección los resultados de la aplicación de dos cuestionarios dirigidos a tres cohortes de egresados y una de alumnos, del programa de la MIPAE. Se muestran en términos descriptivos y posteriormente con estadística inferencial.

Seguimiento de egresados. La tasa de respuesta fue de 0.56 en las tres generaciones de egresados. La aplicación del instrumento reveló que 59% de quienes lo respondieron fueron mujeres (n = 16) y 41% hombres (n = 11), todos de nacionalidad mexicana, con edad promedio semejante (hombres 38.45 ± 3.0 años y mujeres 39.31 ± 2.4 años); el perfil profesional que predominó en la muestra fue del 44% (12) de licenciados en pedagogía, 26% (7) en psicología y el 30% (8) restante se ubicó en el perfil de las áreas de humanidades, económico–administrativas y artes. La mayoría de los encuestados 93% (25) declaró trabajar, el 84% (23) en el sector público al momento de la aplicación y un 16% (4) en el sector privado. Más de la mitad de los encuestados 52% (14) trabajaba de tiempo completo, 32% (9) por horas y un 16% (4) en jornadas de medio tiempo.

En cuanto a obtención del grado, 67% (18) estaba titulado, 26% (7) era pasante y 7% (2) no respondió la pregunta. El promedio de tiempo que tardaron en titularse en el programa de la MIPAE fue de 11.9 ± 2.8 meses. Cuatro egresados reportaron haber iniciado estudios de doctorado: 3 con un grado de avance entre el 30 y 80%, mientras que el otro truncó sus estudios.

Al realizar comparaciones entre algunas de las variables más relevantes contenidas en el instrumento de se, se observó que la producción científica total (productos escritos, formación de recursos humanos y actividades de divulgación) entre los grupos que contestaron dedicarse a la investigación después de la maestría fue cuatro veces mayor [t₍₂₅₎ = –4.030, p < 0.001], que la de quienes contestaron no dedicarse a ella (figura 1).

La pertenencia a un comité académico no marcó diferencias en la producción total científica [t₂₅ = –0.833, p = 0.413], pero sí entre el grupode egresados pertenecientes a una sociedad científica [t₂₅ = –3.433, p < 0.002] comparado con CA los que no pertenecían a ninguna (figura 2).

La producción científica escrita, medida en términos de la cantidad de publicaciones no difirió cuando fue analizada por sexo [t = –1.406, p = 0.172]. En cambio, el número de publicaciones varió dependiendo de la actividad que realizaban [t(25) = –4.548, p<0.001] y del número de horas que dedicaban a la semana a la investigación, encontrándose una relación directa entre el número de horas dedicadas a la investigación y la producción científica escrita [F₍₃₂₃₎ = 12.168, p < 0.001], ver figura 3.

Al igual que con la producción científica total, el número de publicaciones no difirió por pertenecer a algún comité académico [t ₍₂₅₎ = –0.641, p = 0.527] pero fue mayor en los egresados que pertenecían a una sociedad científica [t₍₂₅₎ = –3.705, p < 0.001], ver figura 4.

Evaluación del programa

Se analizó el grado en que el programa de la MIPAE permitió alcanzar los objetivos terminales en la formación de los egresados y alumnos. Las respuestas correspondieron a opciones en escala de Likert del 1 al 5, en la que la opción 5 correspondió al máximo cumplimiento y 1 correspondió a la ausencia de cumplimiento. Ninguno de los egresados y alumnos calificó con 1 o 2 los aspectos formativos y de gestión del programa; la calificación que predominó en el aspecto de formación a través de la adquisición de habilidades para la investigación fue de 4.

Se analizó con ANOVA de 1 vía el grado de utilidad de los conocimientos metodológicos proporcionados por la maestría para la evaluación del programa de la MIPAE y no se observaron diferencias entre las cuatro generaciones abordadas [F(3, 46) = 2.094, P = 0.114], ya que en promedio las cuatro generaciones calificaron con 3.6 ± 0.5, 3.7 ± 0.3, 4.0 ± 0.2, 4.3 ± 0.1, es decir con un cumplimiento mayor a la media teórica de 3.

Los servicios ofrecidos por la maestría en cuanto al profesorado, la organización académica y las instalaciones fueron calificados por los encuestados quienes reportaron una suficiencia mayor a la intermedia como se ilustra en la figura 5. En cuanto a los servicios complementarios correspondientes a cuestiones administrativas, de biblioteca, servicios de cómputo y audiovisual, la menor suficiencia fue registrada en el servicio de los horarios de atención en biblioteca, administración y centro de cómputo, en la adecuación y actualización del material bibliográfico, en la disponibilidad y la atención del personal responsable, con una calificación de 3 que es el valor intermedio entre la máxima y la nula eficiencia.

Discusión y conclusiones

La investigación que se sintetiza en este documento posee un valor intrínseco si se toma como punto de partida lo señalado por Peña Carrillo (2009: 11) en el sentido de la necesidad de efectuar estudios de seguimiento de egresados que evalúen los posgrados, su crecimiento, las vivencias de los nuevos investigadores incorporados al campo de indagación elegido y de sus experiencias de formación para la investigación entre otros aspectos. Un valor añadido del presente trabajo consiste en que trascendió del caso típico del estudio de egresados, al recurrir al uso de la estadística inferencial, entre otros aspectos y al encuestar tres cohortes generacionales de egresados (una de alumnos al momento de su realización), representando la concreción de una parte significativa de la evaluación continua de la MIPAE.

Los resultados arrojados por esta investigación sobre las tasas de respuesta (0.56 y 0.69 en el seguimiento de egresados y la evaluación de programa, respectivamente) permiten afirmar haber logrado un estudio aceptable, debido a que generalmente muchas publicaciones sobre el tema informan una tasa de respuesta de 0.5 (Creswell, 2005: 367), en tanto que casos semejantes de estudios de egresados de posgrado en México reportan una tasa del 0.49 (Martínez Covarrubias et al., 1998: 1).

Un análisis basado en los criterios de calidad establecidos por el PNPC, sugiere enfrentar el reto de incrementar y concentrar las actividades de investigación que supone el perfil del programa de la MIPAE en el corto plazo como uno de los ajustes posibles.

Una conclusión inicial sería que estas acciones servirán para mejorar la formación y transformar las capacidades humanas en competencias mediante una acción continua de apoyo, lo cual incidió positivamente, no sólo en su permanencia en el PNPC, sino en su tránsito hacia el status de programa consolidado. Tal consideración se sostiene por ejemplo, en el hecho de que en materia de eficiencia terminal y graduación, el CONACYT establece como criterio un plazo de 2.5 años para obtener el grado (CONACYT, 2007: 30). En el programa de la MIPAE, esto se consiguió en sólo 11 meses.

Un punto de análisis para la toma de decisiones subsecuente lo representa la sugerencia de más de la mitad de los egresados de actualizar o modificar sus contenidos y la calificación de regular otorgada a los servicios bibliotecarios e informáticos. Este dato no es inusual, al menos un estudio de egresados de la Universidad Autónoma Metropolitana reveló que del 50% al 88% de los egresados del nivel de licenciatura, en el periodo comprendido entre 1999 y 2002, sugirió ampliar los contenidos y la enseñanza teórica, metodológica, técnica, computacional y estadística (SIEEE, 2005: 107).

La calidad tiene relación con la satisfacción de las necesidades de los usuarios que demandan para determinado producto, pero es también el resultado de una gestión integral que abarca todas las etapas de un proceso para llegar a generar un producto o servicio. Esta premisa da sentido al quehacer de la evaluación educativa y a su vínculo con la investigación, teniendo como misión fundamental medir los efectos de un programa, contrastándolo con las metas que se propone alcanzar.

El análisis de datos con la metodología empleada permitió obtener información que en un futuro inmediato pueda compararse con las metas institucionales. Debe recordarse que lo que distingue a la investigación evaluativa no es el método o la materia de estudio, sino la intención, la finalidad con que se lleva a cabo, pues se debe emplear para la toma de decisiones, como prioridad, para plantear interrogantes derivados del programa que se evalúa y realizar esta práctica en un marco de acción (Weiss, 1975: 16).

Con base en criterios explícitos para evaluar el desempeño del programa de la MIPAE, se hizo una comparación estadística de las variables seleccionadas sobre producción científica. Los hallazgos sugirieron que existe un nivel medio de producción científica en quienes se dedicaban a la investigación. Resulta interesante considerar que sólo la tercera parte (n = 9) de los egresados abordados se dedicaba a esta actividad, lo que seguramente guarda relación con las demandas del mercado laboral, pero sugiere la necesidad de desarrollar en los estudiantes competencias para promover la investigación. En este sentido, el programa cumplió uno de los escenarios que Alvarez Mendiola (2002: 33) sugiere: un programa claramente orientado hacia la investigación que logró avances importantes, los cuales seguramente se consolidarán en un futuro.

La mayoría de los egresados del programa de la MIPAE trabajaba ya al momento de efectuar el estudio. Si bien era una condición que existía desde su ingreso, es igual que en programas de educación en otras IES (Martínez Covarrubias et al., 1998: 4). El que los egresados laboraran en el ramo de la educación resulta congruente con los campos de conocimiento de la MIPAE. Una de las recomendaciones que derivan de este trabajo es que se intensifique el abordaje de temáticas de investigación propias de los campos disciplinares que cultiva la MIPAE, lo que mejoraría las competencias de investigación del egresado, según se ha demostrado en un estudio efectuado en otro contexto (Guerrero Useda, 2007: 192).

Se ha establecido que al efectuar la evaluación de los programas educativos se deben tomar en cuenta algunas características en las que pueden diferir unos de otros (Weiss, 1975: 17). En el caso de la MIPAE, puede señalarse que sus características se ubican en el rango de la matrícula usual de instituciones que ofrecen el posgrado en Psicología (Universidad Autónoma de Nuevo León, 2005: 17). Si bien el presente estudio conforma una muestra relativamente pequeña de 50 participantes entre egresados y estudiantes, cabe señalar que se trató del análisis de la información recabada en el tercer encuentro de estudiantes y egresados de la MIPAE, por lo que el alcance que tiene se limita al momento actual del estudio. Sin embargo, representa un análisis reflexivo de la MIPAE que da la pauta para conducir a una estrategia de abordaje más extensiva a través del metanálisis, una vez conjuntados los datos recopilados desde el primer encuentro de egresados.

Según han expuesto Valenti y Varela (2003: 26), resulta recomendable realizar el seguimiento longitudinal de los egresados en por lo menos dos momentos: a 3 y a 5 años posteriores al egreso. El presente estudio permite dar un mayor avance a la investigación evaluativa sobre egresados practicada hasta aquí, debido a que constituye la tercera experiencia realizada en la MIPAE, en un lapso como el que estos autores señalan. De acuerdo con esta sugerencia, es factible ahora recurrir al producto de estos ejercicios en busca de comparaciones formales, que superen el nivel descriptivo y se adentren en otro tipo de explicaciones.

Dado que los estudios han sido realizados de forma sistemática, no se incluyen en un simple activismo, circunstancia que se observa cuando la evaluación no está relacionada con programas concretos y respuestas efectivas de las instancias de la Universidad que intervienen en el proceso formativo (Lopera, 2005: 5). Adicionalmente, estos estudios fueron conducidos de manera conjunta con los propios integrantes de la MIPAE, lo cual le da un valor adicional, por cuanto usualmente las lógicas seguidas (con decisiones verticales y de carácter externo) de las instituciones, se asocian con la falta de convencimiento y la escasa participación de los evaluados (Moreles Vázquez, 2009: 1).

En síntesis, la aplicación de este tipo de instrumentos de seguimiento de egresados y evaluación de la calidad de un PP apoya la toma de decisiones con una base racional que surge de los propios encuestados. Aspectos como el perfeccionamiento de prácticas y procedimientos, añadir o desechar estrategias y técnicas específicas, generar programas similares y fortalecer su competitividad, forman parte de lo que esta línea de investigación evaluativa puede hacer objeto de estudio y mejora continua, en favor de la calidad educativa.

Agradecimientos

* Este estudio fue apoyado con fondos del Consejo Nacional de Ciencia y Tecnología (Proyecto CONACYT: 53175–H).

Referencias

Alegre de la Rosa, Olga María (2009). "Bases para el diseño de nuevos planes de estudio: las competencias del profesorado", en Medina, Antonio; Sevillano, María Luisa y De la Torre, Saturnino (Coords.). Una universidad para el siglo XXI. Espacio Europeo de Enseñanza Superior (EEES). Una mirada transdisciplinar, ecoformadora e intercultural, Madrid, Universitas.        [ Links ]

Álvarez Mendiola, Germán (2002). "La calidad y la innovación en los posgrados", en Revista de la Educación Superior, Vol. XXXI (4), No. 124, México, ANUIES.        [ Links ]

Alvira Martín, Francisco (1997). Metodología de la evaluación de programas: un enfoque práctico. Buenos Aires: Lumen/Hvmanitas.        [ Links ]

Arredondo Galván, Víctor; Pérez Rivera, Graciela; Moran Oviedo, Porfirio (2006). "Políticas del posgrado en México", en Reencuentro, núm. 045, Distrito Federal, Redalyc.        [ Links ]

Arreguin Rocha, Víctor Manuel (2008). Prólogo, en Rojas Hernández, María del Carmen, y Muñiz García, Manuel G. (Coords), Perspectivas de la Psicología Clínica. Compilación de la Red Multirregional de Programas de Posgrados de Calidad en Psicología. San Luis Potosí: UASLP–UANL.        [ Links ]

Asociación Nacional de Universidades e Instituciones de Educación Superior (2005). "Plan de trabajo 2005–2009", <http://www.anuies-noroeste.uson.mx/plan_trabajo_2005-2009.pdf> [Recuperado: mayo/2008]        [ Links ]

Barrón Tirado, Concepción y Díaz Barriga, Angel (2008). "Los sistemas de evaluación y acreditación de la educación superior", en Angel Díaz Barriga, Concepción Barrón Tirado y Frida Díaz Barriga Arceo (Coords.). Impacto de la evaluación en la educación superior mexicana. Un estudio en las universidades públicas estatales, México, UNAM–IISUE–ANUIES–Plaza y Valdés.        [ Links ]

Bricall, Josep (2000). Universidad 2 mil, Madrid, Conferencia de rectores de las universidades españolas (CRUE).        [ Links ]

Buela–Casal, Gualberto; Gutiérrez–Martínez, Olga; Peiró, José M. (2005). "Hacia el título europeo de Psicología" en Revista Mexicana de Psicología, vol. 22, México, Sociedad Mexicana de Psicología, A.C.        [ Links ]

Colbeck, Carol (1998). "Evaluating influences on faculty contributions to student learning", en Michavila, Francisco (Coord.). Experiencias y consecuencias de la evaluación universitaria, Madrid, Fundación Universidad–Empresa.        [ Links ]

Consejo Nacional de Ciencia y Tecnología (2007). Marco de Referencia para la Evaluación de Programas de Posgrado, en http://conacyt.mx/Posgrados/Convocatorias/2007/Marco–de–Referencia–Convocatoria–PNPC–2007.pdf, [Recuperado: mayo/2008].        [ Links ]

Cook, Charles (1998). "Quality assessment of university education" en Michavila, Francisco (Coord.). Experiencias y consecuencias de la evaluación universitaria, Madrid, Fundación Universidad–Empresa.        [ Links ]

Creswell, John (2005). Educational research: planning, conducting, and evaluating quantitative al qualitative research, United States of America, Pearson Education        [ Links ]

De Alba, Alicia y Glazman, Raquel (Coords.) (2009). ¿Qué dice la investigación educativa? México, COMIE.        [ Links ]

Díaz Barriga, Angel (2008). "La era de la evaluación en la educación superior. El caso de México", en Angel Díaz Barriga, Concepción Barrón Tirado y Frida Díaz Barriga Arceo (Coords.), Impacto de la evaluación en la educación superior mexicana. Un estudio en las universidades públicas estatales, México, UNAM–IISUE–ANUIES–Plaza y Valdés.        [ Links ]

Figueroa Rodríguez, Sebastián y Jácome Ávila, Nancy (1996). "La investigación como recurso para el conocimiento de la Psicología como disciplina: un seguimiento", en Enseñanza e investigación en Psicología, México, Nueva Época.        [ Links ]

Figueroa Rodríguez, Sebastián y Jácome Ávila, Nancy (1997). "Aspectos formativos de la indagación del perfil profesional del Psicólogo", en Enseñanza e investigación en Psicología, México, Nueva Época.        [ Links ]

Figueroa Rodríguez, Sebastián, López Suárez, Ana Delia, Reyes Lagunes, Isabel (2005). "Origen, trayectoria y perspectiva del Organismo Acreditador de Programas de Psicología en México", en Revista Mexicana de Psicología, 22, México, Sociedad Mexicana de Psicología, A.C. http://200.52.85.164/modules/wfsection/article.php?articleid=7. [Recuperado: enero/2008].        [ Links ]

Figueroa Rodríguez, Sebastián y Pelayo Mezura, Ivonne América (1989 enero/1990 diciembre). "La participación del estudiante de nuevo ingreso en las actividades de investigación: Un recurso en la formación y planeación y disciplinas", en Integración, Revista del departamento de Psicología y Medicina de Rehabilitación, México.        [ Links ]

Figueroa Rodríguez, Sebastián (2002). "La evaluación educativa: antecedentes, circunstancias y efectos", en Ideas. I Curso de Evaluación de Programas Educativos en Ciencias de la Salud, Xalapa.        [ Links ]

Figueroa Rodríguez, Sebastián (2007). Presentación, en IPYE: Psicología y Educación, vol. 1 núm. 1. Xalapa, IPyE.        [ Links ]

Guerrero Useda, María Eugenia (2007). "Formación de habilidades para la investigación desde el pregrado", en Acta Colombiana de Psicología, 10, 2, Colombia.        [ Links ]

Hernández–Guzmán, Laura y Sánchez–Sosa, Juan José (2005). "El aseguramiento de la calidad de los programas de formación en Psicología profesional en México", en Revista Mexicana de Psicología, vol. 22, México, Sociedad Mexicana de Psicología.        [ Links ]

Lopera Palacio, Carlos Mario (2005). "Los estudios sobre seguimiento de egresados en los procesos de mejora continua de la actividad universitaria", en El Marco del Seminario para Funcionarios Universitarios y Gubernamentales sobre Seguimiento de Egresados, de la Red Graduad2, Monterrey, http://www.gradua2.org.mx/docs/monterrey/Ponencia_U_Catolica_de_Col_GRADUA2_Mexico.doc. [Recuperado: mayo/2007]        [ Links ]

López Suárez, Ana Delia (2004). Rumbo a la Acreditación: Seguimiento de egresados, estudio de caso y propuesta. Tesis inédita de maestría, Universidad Veracruzana, Xalapa, Veracruz, México.        [ Links ]

López, Cecilia (1998). "Evaluation and innovationin u.s. higher education: the experience of North Central Association" en Michavila, Francisco (Coord.), Experiencias y consecuencias de la evaluación universitaria, Madrid, Fundación Universidad–Empresa.        [ Links ]

Martínez Covarrubias, Sara Gricelda; Cortez de la Mora, Mireya Isabel y Cruz Rivera, Delfino (1998). Impacto de los egresados de posgrado de la Universidad de Colima en su entorno, Colima, http://digeset.ucol.mx/egresados/posgrado/Impacto_de_los_egresados_de_posgrado.pdf. [Recuperado: marzo/2008].        [ Links ]

Martínez González, A.; Bernal Moreno, A.; Hernández Cruz, B.; Gil Miguel, A.; Martínez Franco, A. (2005). "Los egresados del posgrado de la UNAM" en Revista de la Educación Superior, Vol. XXXIV (1), No. 133, México, ANUIES. http://www.anuies.mx/servicios/p_anuies/publicaciones/revsup/index.html, [Recuperado: SEP. 2008].        [ Links ]

Martínez Mediano, Catalina (1996). Evaluación de programas educativos. Investigación evaluativa. Modelos de evaluación de programas. Madrid: UNED.        [ Links ]

Martínez Rizo, Felipe y Santos del Real, Annette (2009). "Evaluación e investigación educativa" en De Alba, Alicia y Glazman, Raquel (Coords.), ¿Qué dice la investigación educativa? México, COMIE.        [ Links ]

Martos, Francisco (2005). "Desafíos de la formación del postgrado en Iberoamérica en un mundo globalizado", en Revista Mexicana de Psicología, vol. 22, México, Sociedad Mexicana de Psicología.        [ Links ]

Mcburney Donald y White Theresa (2004). Research methods (6th edition). United States of America, Thomson Wadsworth.        [ Links ]

Méndez Fraustro, Carlos Jaime y Pérez Pulido, Ignacio (2005). Estudio de egresados 2003. Guadalajara, Universidad de Guadalajara, http://www.cualtos.udg.mx/Investigacion/Publicaciones/seguimiento%20de%20egresados%202003%20cualtos.pdf. [Recuperado: mayo/2008].        [ Links ]

Mertens. Donna M. (2005). Research and evaluation in education and psychology. Integrating diversity with quantitative, qualitative and mixed methods. California, SAGE.        [ Links ]

Moreles Vázquez, Jaime (2009). "El debate sobre la evaluación educativa en la revista de la educación superior. Lo que muestra la investigación a sus potenciales usuarios" en Memoria electrónica del x Congreso Nacional de Investigación Educativa, COMIE, Veracruz, Ver.,COMIE–UV–SEV. <http://127.0.0.1:4001/pdf/area_tematica_11/ponencias/1119F.pdf> [Recuperado: Octubre 2009].        [ Links ]

Peña Carrillo, Miroslava (2009). "Formación para la investigación educativa. Una primera mirada a la producción investigativa en los congresos del COMIE " en Memoria electrónica del x Congreso Nacional de Investigación Educativa, COMIE, Veracruz, Ver., COMIE–UV–SEV. <http://127.0.0.1:4001/pdf/area_tematica_11/ponencias/1600-F.pdf.> [Recuperado: Octubre 2009].        [ Links ]

PROMEP (2006). Programa de Mejoramiento del Profesorado. Un primer análisis de su operación e impactos en el proceso de fortalecimiento académico de las universidades públicas. México, SEP.        [ Links ]

Reynaga Obregón, Sonia (2002). "Los posgrados: una mirada valorativa" en Revista de la Educación Superior, Vol. XXXI (4), No. 124, México, ANUIES.        [ Links ]

Ruiz Gutiérrez, Rosaura; Medina Martínez, Sara Rosa; Bernal, José Aquiles y Tassinari Azcuaga, Aideé (2002). "Posgrado: actualidad y perspectiva" en Revista de la Educación Superior, Vol. XXXI (4), No. 124, México, ANUIES.        [ Links ]

Sánchez de Osorio, Azucena; Pabón de Reyes, Carmen (s/f). "Seguimiento de egresados del programa de Psicología y Pedagogía", en Universidad Pedagógica Nacional. http://www.pedagogica.edu.co/storage/ps/articulos/peda1 1_10arti.pdf. [Recuperado: SEP. 2009].        [ Links ]

Secretaría de Educación Pública (2007). Programa Sectorial de Educación 2007–2012. México, Secretaría de Educación Pública, http://sep_congreso.sep.gob.mx/prog_nacional/prog_sec.pdf. [Recuperado: septiembre/2008].        [ Links ]

Sierra Neves, María Teresa (2007). "Cultura de la evaluación y acreditación de las universidades públicas en México y las controversias actuales" en Carmona León, Alejandro; Lozano Medina, Andrés y Pedraza Cuellar, David (Coords.), Las políticas educativas en México. Barcelona, Pomares.        [ Links ]

SIEEE (Sistema de Información de Estudiantes, Egresados y Empleadores) (2005). Seguimiento de egresados generaciones 1997–2002, México, Universidad Autónoma Metropolitana, http://coplan.azc.uam.mx/coplan_web3/documentos/censo/reportegeneralegresados.pdf. [Recuperado: mayo/2008].        [ Links ]

Universidad Autónoma de Nuevo León (2005). Informe 2005. Nuevo León, Sub–dirección de estudios de posgrado, Facultad de Psicología, <http://www.psicologia.uanl.mx/posgrado/Informe05.pdf> [Recuperado: octubre/2008].        [ Links ]

Valenti, Giovanna y Varela, Gonzalo (2003). Diagnóstico sobre el estado actual de los estudios de egresados, México, ANUIES. http://www.anuies.mx/e_proyectos/pdf/Estudios_de_Egresados.pdf. [Recuperado: marzo/2008].        [ Links ]

Weiss, Carol (1975). Investigación evaluativa, México, Trillas.        [ Links ] ]]> 2009 2002 XXXI 4 4 1997 2006 045 045 2008 Asociación Nacional de Universidades e Instituciones de Educación Superior 2005 2008 2000 2005 22 1998 Consejo Nacional de Ciencia y Tecnología 2007 1998 2005 2009 2008 1996 1997 2005 22 1989 e ne 2002 2007 1 1 1 2007 10 2 2 2005 22 2005 2004 1998 1998 2005 XXXIV 1 1 1996 2009 2005 22 2004 6 2005 2005 2009 Veracruz 2009 Veracruz PROMEP 2006 2002 XXXI 4 4 2002 XXXI 4 4 Universidad Pedagógica Nacional Secretaría de Educación Pública 2007 2007 Sistema de Información de Estudiantes, Egresados y Empleadores 2005 Universidad Autónoma de Nuevo León 2005 2003 1975