SciELO - Scientific Electronic Library Online

 
vol.23 número3Disponibilidad a pagar por el mejoramiento en el tratamiento de aguas residuales: aplicación del método de valoración contingente en Puno, PerúCrecimiento miceliar in vitro de hongos comestibles silvestres de alta montaña en el centro de México índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • No hay artículos similaresSimilares en SciELO

Compartir


Revista Chapingo serie ciencias forestales y del ambiente

versión On-line ISSN 2007-4018versión impresa ISSN 2007-3828

Rev. Chapingo ser. cienc. for. ambient vol.23 no.3 Chapingo sep./dic. 2017

http://dx.doi.org/10.5154/r.rchscfa.2016.12.074 

Artículo científico

Modelo de selección y evaluación de aspirantes a un posgrado en ciencias forestales

Francisco J. Zamudio-Sánchez1 

José L. Romo-Lozano*  1 

Amparo Borja-de la Rosa1 

Gladys Martínez-Gómez1 

Adriana Ávalos-Vargas1 

1Universidad Autónoma Chapingo. Carretera México-Texcoco km 38.5. C. P. 56230. Chapingo, Texcoco, Estado de México, México.

Resumen

Introducción:

El proceso de admisión de estudiantes al posgrado es muy importante para el mejoramiento de los indicadores de mayor ponderación en la calidad del programa. El problema es la gran cantidad de información solicitada que no siempre se considera objetivamente para la selección de aspirantes con el perfil deseado.

Objetivo:

Analizar modelos de evaluación para seleccionar aspirantes al posgrado y, vía una métrica, elegir el modelo más compatible.

Materiales y métodos:

Se utilizó información de 19 solicitantes de ingreso al programa de la Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo. Se aplicaron métodos subjetivos de análisis multicriterio en la fase de ponderación de los criterios (3) y subcriterios (8): método de asignación de puntos y proceso jerárquico analítico. Los valores fueron agregados mediante el método TOPSIS y el método de suma ponderada. La combinación ponderación-agregación más compatible se determinó con el ordenamiento de Pareto.

Resultados y discusión:

La combinación del método de la suma ponderada y el proceso jerárquico analítico presentó una distancia promedio menor al ordenamiento del resto de las combinaciones y, consecuentemente, generó una selección de aspirantes más compatible con los criterios de selección.

Conclusión:

Los métodos multicriterio representan una buena opción para considerar apropiadamente la cantidad de información generada en un proceso de selección.

Palabras clave: Análisis multicriterio; suma ponderada; TOPSIS; ordenamiento Pareto

Introducción

El propósito esencial de la evaluación de aspirantes a un programa de posgrado, generalmente, es valorar el grado en que satisfacen el perfil de ingreso y seleccionar a quienes poseen características compatibles con el programa y garanticen el éxito del mismo y el individual. “En sentido estricto, las evaluaciones de aptitud son de índole diagnóstica de capacidades o potencialidades tendientes a predecir el éxito escolar” (Ibañez, 2009). Los procedimientos y criterios de admisión y selección de estudiantes son críticos para medir la calidad organizativa del posgrado e influyen también de forma muy directa en la calidad académica. “No podemos olvidar que la calidad y reputación de un máster están íntimamente relacionadas con la calidad de los estudiantes seleccionados” (Bengoetxea-Castro & Arteaga-Ortiz, 2009).

A nivel mundial existe un amplio consenso en el campo educativo sobre la importancia del proceso de selección de estudiantes para su admisión en estudios de posgrado. En Estados Unidos de América abundan los análisis y metanálisis de los procesos de admisión (Kuncel, Credé, & Thomas, 2007; Kuncel, Wee, Serafin, & Hazlett, 2010), y entre los resultados más importantes señalan que los exámenes Graduate Record Examinations (GRE-T), Graduate Management Admission Test (GMAT) y Miller Analogies Test (MAT) predicen de manera aceptable la obtención del grado de los estudiantes, la productividad científica y el número de citas. Del mismo modo, la mayoría de los países que conforman la Unión Europea han realizado esfuerzos importantes para la homogeneización de los criterios de selección en los programas de posgrado (Davies, 2009; European University Institute [EUI], 2014; Kehm, 2006); sobresalen los temas de equidad, calidad y capacidad para promover la movilidad. La mayoría de los países europeos operan con un sistema dual en el cual las universidades tienen algún control sobre la admisión, pero en el marco de lineamientos gubernamentales en los criterios de selección (McGrath et al., 2014).

En América Latina también se han realizado esfuerzos que expresan la atención al ingreso, demandada por el proceso de selección de aspirantes a estudios de posgrado. En Colombia, Colonia-Duque (2010) caracterizó el perfil de estudiantes de posgrado y concluye, entre otras cosas, que existe una correlación significativa entre las calificaciones promedio obtenidas en el programa de maestría con variables como hoja de vida, promedio de calificaciones de pregrado, entrevista y prueba de aptitudes. En Chile, se continúan probando instrumentos capaces de medir atributos que complementen los indicadores ya usados para los procesos de admisión de posgrado (Santelices et al., 2010).

En México, un número amplio de universidades utiliza el Examen Nacional de Ingreso (EXANI-III), propuesto en 1996 por el Centro Nacional de Evaluación para la Educación Superior (CENEVAL), para la selección de estudiantes de posgrado. La estructura temática del examen incluye: razonamiento lógico-matemático, razonamiento verbal, metodología y habilidades para la investigación, tecnologías de información para la comunicación (TIC) e inglés. No obstante, aunque se han realizado pocos estudios sobre el tema, se ha encontrado que la capacidad predictiva del examen para la obtención del grado de maestría en los tiempos deseables es muy baja (Álvarez-Montero, Mojardín-Heráldez, & Audelo-López, 2014).

García (1995) destacó que una característica de los estudios de posgrado del país es que las instituciones de carácter público son mucho más selectivas que sus contrapartes del sector privado. Por otra parte, hay un número importante de universidades que han diseñado su propio examen y procedimiento de selección, quienes integran la información relevante para escoger a los estudiantes que reúnan los requisitos del perfil de ingreso; este es el caso del programa de Maestría en Ciencias en Ciencias Forestales de la Universidad Autónoma Chapingo (UACh).

El estado actual del sistema de estudios de posgrado mexicano se explica en gran medida por la política nacional conducida por el Consejo Nacional de Ciencia y Tecnología (CONACYT) mediante el Programa Nacional de Posgrados de Calidad (PNPC), misma que se ha ejercido a partir de 1991 (Adalid & de Urdanivia, 2011). La pertenencia a dicho programa es una condición importante para la existencia y desarrollo de los posgrados, principalmente los de educación pública. La pertenencia se consigue mediante la participación y aprobación de un conjunto de indicadores contemplados en las tres etapas del modelo de evaluación establecido: autoevaluación, evaluación de pares, y la evaluación de resultados e impacto (Consejo Nacional de Ciencia y Tecnología [CONACYT], 2013). En este proceso, la selección de los aspirantes al posgrado es una etapa que puede facilitar el logro de indicadores de calidad si se realiza apropiadamente, mismos que son de vital importancia para ingresar o permanecer en el PNPC.

Bajo este marco, el objetivo de la investigación fue determinar la combinación ponderación-agregación que genere un índice para la selección de aspirantes y sea el más compatible con los criterios del programa de la maestría. Para el propósito se usó la información de 19 solicitantes en el año 2015. La combinación de distintos métodos de ponderación con diferentes métodos de agregación ha sido abordada de manera muy limitada. La literatura reporta pocos casos, específicamente, en el marco de los índices compuestos (Chakrabarty & Bhattacharjee, 2012). Por otra parte, aunque el tema de la selección en el marco de la toma de decisiones es bastante amplio y se ha abordado desde distintas aristas, no se conocen trabajos específicos que analicen combinaciones de métodos de ponderación con agregación en decisiones relacionadas con la selección.

Materiales y métodos

Se utilizaron dos métodos de ponderación de los criterios y subcriterios: Método de Asignación de Puntos (MAP) y Proceso Jerárquico Analítico (PJA). Los resultados de ambas ponderaciones subjetivas se utilizaron para estimar la clasificación de los 19 estudiantes mediante los métodos Technique for Order of Preference by Similarity to Ideal Solution (TOPSIS) y el Método Suma Ponderada (MSP), resultando cuatro combinaciones: TOPSIS-MAP, TOPSIS-PJA, MSP-MAP y MSP-PJA. Posteriormente, la técnica de ordenamiento de Pareto se aplicó para determinar la combinación más compatible con los criterios del programa y, en consecuencia, con la mejor selección de aspirantes.

Modelo de evaluación y selección de aspirantes en la Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo

La selección de los aspirantes es conducida por la Coordinación de Estudios de Posgrado del programa, la cual se integra por un Coordinador y cuatro Vocales, todos miembros de la planta académica. Los aspirantes aceptados son aquellos cuya calificación global es igual o mayor que 80. El proceso de selección considera tres criterios: conocimientos, experiencia y personalidad. Cada criterio comprende a su vez distintos subcriterios (Figura 1) valorados en una escala de 0 al 100.

Figura 1 Componentes del modelo de selección de los aspirantes al posgrado de la Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo. JCR: Journal Citation Reports 

  • 1. Examen de conocimientos. Es un examen escrito que consta de 20 preguntas; 15 están relacionadas con las Ciencias Forestales y cinco con otras áreas de interés.

  • 2. Examen de habilidades. Examen escrito para identificar las habilidades de los aspirantes en las áreas de matemática, lógica e investigación. El examen tiene cuatro secciones: la primera se refiere a preguntas relacionadas con el razonamiento verbal, la segunda trata aspectos matemáticos, la tercera se relaciona con el planteamiento en resolución de problemas y la última se refiere a las habilidades en investigación. Cada sección se integra de 10 preguntas.

  • 3. Examen de diagnóstico del idioma inglés. Se aplica para conocer el nivel que los aspirantes tienen para, luego de ser aceptados, identificar las necesidades de cursos para el buen desempeño en la lectura y comprensión de la literatura de apoyo en cursos e investigación. Generalmente, el examen es una versión del Test of English as a Foreign Language (TOEFL) aplicado por el Departamento de Idiomas de la universidad. La calificación bruta de cada sección se convierte por medios estadísticos en un número; la calificación total del examen en papel se informa en una escala de 310 a 677. Las calificaciones se convirtieron a la escala del 0 al 100, utilizando la técnica de normalización por rango.

El criterio experiencia comprende los siguientes subcriterios:

  • 4. Currículo. Se califican los antecedentes y experiencia profesional del aspirante, a través de los documentos probatorios.

  • 5. Promedio del grado anterior. El promedio mínimo debe ser 80 puntos en la escala de 0 a 100.

  • 6. Habilidades prácticas para la investigación y ejercicio de síntesis y comprensión. Esta tarea consiste en buscar cinco artículos científicos publicados en revistas indexadas, de preferencia incluidas en JCR (Journal Citation Reports). Los artículos deben estar relacionados con el tema de investigación propuesto por el aspirante; dos pueden ser en español y tres en inglés. Los aspirantes deben resumir el contenido de cada artículo correlativamente con su tema de investigación en una cuartilla y entregar en un periodo de cinco días hábiles.

El criterio personalidad agrupa los dos subcriterios restantes:

  • 7. Entrevista con la Coordinación del programa. La entrevista se realiza en dos etapas. En la primera, se entrega a cada aspirante un cuestionario que contiene 16 preguntas relacionadas con los siguientes temas: objetivos personales para estudiar la maestría en el programa, inquietudes de investigación y docencia, conocimiento del personal académico del programa y conocimiento sobre otras opciones similares de estudio. La segunda etapa consiste en la entrevista directa con los integrantes de la Coordinación, quienes abundan sobre los aspectos abordados en el cuestionario de la primera etapa y otros pertinentes, para obtener buenos resultados en el programa.

  • 8. Examen psicométrico. Este examen se aplica por profesionales de la psicología en la universidad. Los resultados son confidenciales y se expresan en tres categorías: apto, medianamente apto y no apto, a las cuales se asignan las calificaciones 100, 80 y 66, respectivamente.

Métodos de ponderación

El MAP consiste en dar el conjunto de criterios a ponderar a un grupo de expertos y se les pide que distribuyan 100 puntos entre el conjunto de criterios y subcriterios considerados. Todo esto basado en la experiencia y el juicio subjetivo sobre la importancia de cada criterio (Organisation for Economic Co-operation and Development [OECD], 2008).

El método PJA usa comparaciones pareadas para analizar alternativas, pero también, como en este caso, se usa para estimar los pesos de los criterios. Las comparaciones se basan en el juicio de expertos para derivar escalas de prioridad (Saaty & Vargas, 2012). Una de las desventajas es que, debido a las comparaciones pareadas, pueden ocurrir inconsistencias en los juicios expresados por los expertos al clasificar los criterios, sobre todo cuando son muchos (Velásquez & Hester, 2013); no obstante, una modificación ad hoc del método de Saaty y Vargas (2012) puede evitarlas. Por otra parte, una de las ventajas del método es el fácil uso para derivar los pesos de los coeficientes y comparar las alternativas. Las comparaciones son realizadas por pares de criterios, planteando las siguientes preguntas: ¿Cuál de los dos criterios es el más importante? y ¿Por cuántas veces? La fortaleza de la preferencia es expresada en una escala de 1 a 9, lo que permite la medida dentro del mismo orden de magnitud. La preferencia de 1 indica igualdad de importancia entre dos criterios, mientras que una preferencia de 9 indica que un criterio es extremadamente más importante que aquel con el que es comparado (Cuadro 1). La información obtenida se procesó con el programa Expert Choice Desktop 11.5.1860 (Expert Choice Inc., 2014).

Cuadro 1 Escala de Saaty y Vargas (2012) para estimar la prioridad de los criterios utilizados en la selección de aspirantes al posgrado. 

Valor Definición Observación
1 Igual importancia El criterio 1 es igual de importante que el criterio 2.
3 Importancia moderada La experiencia y el juicio favorecen ligeramente al criterio 1 sobre el 2.
5 Importancia fuerte La experiencia y el juicio favorecen fuertemente al criterio 1 sobre el 2.
7 Importancia muy fuerte El criterio 1 es mucho más importante que el criterio 2.
9 Importancia extrema La mayor importancia del criterio 1 sobre el criterio 2 está fuera de duda.
2, 4, 6 y 8 Valores intermedios entre los anteriores, cuando es necesario matizar.

Métodos de agregación

El método TOPSIS es de uso común en el análisis de decisiones multicriterio. De manera general, el método consiste en estimar un punto positivo ideal y otro punto negativo ideal. El punto positivo ideal corresponde a una alternativa supuesta, construida a partir de los mejores valores alcanzados en cada uno de los atributos (criterios) del conjunto de las alternativas analizadas. El punto negativo ideal, por el contrario, corresponde a otra alternativa supuesta que contiene los peores valores obtenidos en cada uno de los mismos criterios. Una vez construidas estas referencias, se estiman las distancias ponderadas de cada alternativa a la mejor y peor alternativa establecida y se define su clasificación (Pavić & Novoselac, 2013; Wang & Xiao, 2011). El principio básico del método es que la alternativa seleccionada debe tener la distancia más corta de la solución ideal positiva y la distancia más lejana de la solución antideal, en un sentido geométrico.

El método asume que cada atributo tiene utilidad monotónicamente creciente o decreciente. Esto facilita la tarea de localizar las soluciones ideales (positiva y negativa). De este modo, el orden de preferencias de las alternativas es producido mediante la comparación de distancias euclidianas (San Cristóbal, 2012).

Asumiendo que existe un conjunto de alternativas A={a1, a2, am) , calificadas por un conjunto de criterios X={X1, X2, Xn} se conforma la matriz de decisión X=Xijmxn De n criterios, los primeros k se asumen positivos (mayor valor, mejor) y los últimos n-k se asumen negativos (menor valor, mejor). El desarrollo del método se describe a continuación.

1. La matriz normalizada se construye sustituyendo cada valor x ij por su valor normalizado (r ij ) mediante la fórmula:

rij=xiji=1mxij2

2. La matriz ponderada se construye sustituyendo cada r ij por su valor ponderado (a ij ) utilizando los pesos correspondientes establecidos (w j ) mediante la fórmula:

aij=wjrij=wjxiji=1mxij2

3. Los mejores valores aj+ se seleccionan para establecer la alternativa ideal positiva A+=(a1+, a2+, an+) mediante el siguiente procedimiento:

aj+=maxiaij,j=1,...,kminiaij,j=k+1,...,n

Los componentes mínimos de esta alternativa ideal positiva corresponden a criterios a ser minimizados.

4. De manera semejante se establece la alternativa ideal negativa A-=(a1-, a2-, an-) donde cada aj- se selecciona utilizando la fórmula:

aj-miniaij,j=1...,kmaxiaij,j=k+1...,n

Los componentes máximos en esta alternativa corresponden a criterios a ser maximizados.

5. El vector de distancias D+=(d1+, d2+, dm+)T a la alternativa A+ se estima mediante:

di+=dAi,A+=j=1na-ijaj+2

6. Similarmente, las distancias D-=(d1-, d2-, dm-)T a la alternativa A- se calculan mediante:

di-=dAi,A-=j=1na-ijaj-2

7. Finalmente, las distancias relativas D*=(D1*, D2*, Dm*)T de las alternativas Ai a los puntos A + y A - se calculan con la siguiente fórmula:

Di*=di-di++di-=dAi,A-dAi,A++dAi,A-

El mayor valor Di* señala la mejor alternativa y el menor valor es la peor alternativa.

El MSP, conocido también como combinación lineal ponderada o de clasificación, muestra cómo los valores de las opciones de los múltiples criterios se pueden combinar en un valor global. Esto se hace multiplicando la puntuación del valor de cada criterio por el peso de ese criterio y luego se añaden todos esos puntajes ponderados; es decir:

Ai=wjxij

donde x ij es el valor registrado de la alternativa i con respecto al criterio j, y w ij es la ponderación del criterio (Afshari, Mojahed, & Yuseff, 2010). En este método se demuestra claramente el concepto principal de los métodos de evaluación multicriterio: la integración de los valores y pesos de los criterios en una sola magnitud (Podvezko, 2011). La condición de aplicación del método es que los criterios deben ser independientes entre sí. Este método es uno de los utilizados con mayor frecuencia en el enfoque multicriterio (Paracchini, Pacini, Calvo, & Vogth, 2007).

Normalización

La técnica de normalización por rango se utilizó con la finalidad de convertir los datos generados por cada combinación ponderación-agregación a la escala 0-1 mediante la siguiente ecuación (Aznar-Bellver & Guijarro-Martínez, 2012):

xijnormalizado=xij-minxijmaxxij-minxij

El intervalo de los valores normalizados es 0 ≤ x ij ≤ 1. En este procedimiento de normalización, el elemento de mínima calificación siempre toma el valor 0 y el de máxima toma el valor 1.

Ordenamiento de Pareto

La utilización del ordenamiento de Pareto en la clasificación de resultados, vía índices (clasificadores), fue propuesta por Chakrabarty y Bhattacharjee (2012). Se consideran p = 4 clasificadores, que resultan de los dos métodos de ponderación y los dos métodos de agregación. En el presente trabajo se clasificó mediante el cálculo de las siguientes expresiones:

dijk=ij-ik2jk,  i=1,2,...,m;k,j=1,2,...,p,

dj=i=1i=mk=1k=pdijk,

dj-=djp-1

donde,

dijk= cuadrado de la diferencia de las clasificaciones del aspirante (alternativa) i, obtenidas por los clasificadores j y k (jk; j, k = 1, 2…, p)

ϵij= clasificación del aspirante i (i = 1, 2…, m) por el clasificador j (j = 1, 2…, p)

dj= distancia total del clasificador j (j = 1, 2…, p)

d-j= distancia promedio del clasificador j (j = 1, 2…, p) con respecto a los otros métodos.

El método que presente el menor valor de distancia media es el que se identifica como el más compatible para los criterios usados.

Resultados y discusión

Las calificaciones de los aspirantes en el proceso de selección y evaluación, por subcriterio, se muestran en el Cuadro 2. Como era de esperar, las calificaciones resultantes expresan conflicto entre los distintos subcriterios considerados; es decir, generalmente, cada criterio señala distintas alternativas (aspirantes) como mejores. Del mismo modo, se observa que prácticamente todos los aspirantes tuvieron calificaciones aceptables en el examen de conocimientos, mientras que las calificaciones más bajas de algunos se obtuvieron en los exámenes de habilidades e inglés.

Cuadro 2 Calificaciones obtenidas por los aspirantes al programa de Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo. 

Aspirante Conocimiento Experiencia Personalidad
EC EH EI Curr Prom JCR Entrev Psicom
1 85 93 0 78 80 60 65 80
2 90 60 9 82 80 90 90 100
3 70 75 50 84 85 85 70 100
4 85 48 25 85 88 80 89 80
5 85 78 17 86 89 70 79 80
6 80 73 26 82 86 50 73 80
7 90 63 71 78 82 65 73 100
8 85 53 79 83 81 92 69 80
9 70 78 39 84 86 74 68 66
10 85 70 99 82 85 88 88 66
11 70 63 70 80 86 90 90 80
12 75 73 100 88 90 60 83 80
13 90 88 50 80 84 76 76 100
14 80 58 100 84 88 75 84 80
15 85 78 91 80 81 88 92 80
16 90 80 57 86 84 40 85 80
17 80 65 82 82 82 70 89 80
18 80 73 97 90 95 78 78 80
19 80 50 100 84 87 90 75 80

EC = examen de conocimientos, EH = examen de habilidades, EI = examen de inglés, Curr = currículo, Prom = promedio, JCR = revisión de artículo publicado en revista reconocida en el Journal Citation Reports, Entrev = entrevista, Psicom = examen psicométrico.

La ponderación de criterios y subcriterios se colectó mediante una encuesta diseñada especialmente para los expertos, quienes han sido o son integrantes de la Coordinación de Estudios de Posgrado en el que se realizó la selección de aspirantes, lo cual garantiza la experiencia en el proceso de selección. Los resultados obtenidos mediante el método PJA y MAP (Cuadro 3) presentan disparidades significativas en la ponderación de los criterios y subcriterios. Sobresale el caso del subcriterio examen de conocimientos, al cual el método de ponderación PJA asignó el doble del peso que el método MAP. Otro caso que llama la atención es el del subcriterio entrevista de la Coordinación, al cual MAP asigna un peso 3.5 veces mayor que PJA.

Cuadro 3 Ponderaciones del proceso jerárquico analítico (PJA) y del método de asignación de puntos (MAP) en la selección de aspirantes al programa de Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo. 

Criterio Subcriterio Ponderación PJA Ponderación MAP
Criterio Subcriterio Final Criterio Subcriterio Final
Conocimientos Examen conocimientos 0.76 56.30 42.49 0.47 45.00 21.38
Examen habilidades 30.70 23.16 31.25 14.84
Examen inglés 13.10 9.86 23.75 11.28
Experiencia Curriculo vitae 0.18 22.50 4.00 0 .25 35.00 8.75
Promedio calificaciones 65.90 11.72 43.75 10.94
Ejercicio JCR 11.70 2.08 21.25 5.31
Personalidad Entrevista coordinación 0.07 86.30 5.78 0.27 73.75 20.28
Examen psicométrico 13.70 0.92 26.25 7.22

JCR: Journal Citation Reports

La aplicación de los dos métodos de agregación, TOPSIS y MSP, utilizando en cada caso las dos ponderaciones, MAP y PJA, resultó en cuatro combinaciones ponderación-agregación. El Cuadro 4 muestra los valores para los 19 aspirantes evaluados.

Cuadro 4 Valores obtenidos en las cuatro combinaciones de métodos ponderación-agregación utilizadas en la selección de aspirantes al programa de Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo. 

Aspirante TOPSIS-PJA TOPSIS-MAP MSP-PJA MSP-MAP
1 0.5323(48) 0.3670(4) 0.0511(36) 0.0465(0)
2 0.4030(18) 0.3740(6) 0.0491(17) 0.0499(29)
3 0.4539(30) 0.4814(29) 0.0494(20) 0.0505(33)
4 0.3239(0) 0.3625(3) 0.0473(0) 0.0487(18)
5 0.4973(40) 0.3873(9) 0.0515(39) 0.0497(27)
6 0.4337(25) 0.3482(0) 0.0491(17) 0.0473(7)
7 0.5831(60) 0.5871(53) 0.0539(62) 0.0530(54)
8 0.4953(40) 0.5544(45) 0.0516(40) 0.0517(43)
9 0.4405(27) 0.4095(14) 0.0485(12) 0.0475(9)
10 0.6894(85) 0.7530(89) 0.0572(93) 0.0575(92)
11 0.4307(25) 0.5856(52) 0.0495(21) 0.0528(52)
12 0.6196(68) 0.7234(83) 0.0550(73) 0.0562(80)
13 0.7098(89) 0.5954(54) 0.0570(92) 0.0549(70)
14 0.5541(53) 0.6773(72) 0.0538(62) 0.0556(75)
15 0.7556(100) 0.8022(100) 0.0579(100) 0.0585(100)
16 0.6900(85) 0.6103(58) 0.0561(83) 0.0539(62)
17 0.5640(56) 0.6701(71) 0.0532(56) 0.0546(67)
18 0.6727(81) 0.7342(85) 0.0567(89) 0.0571(88)
19 0.5031(42) 0.6190(60) 0.0522(47) 0.0540(62)

TOPSIS: Technique for order of preference by similarity to ideal solution, PJA: Proceso jerárquico analítico, MAP: Método de asignación de puntos, MSP: método suma ponderada. Valores entre paréntesis convertidos a la escala 0-100.

Los valores generados por cada combinación de métodos se convirtieron a la escala 0-100, mediante la técnica de normalización por rango (Cuadro 4, valores entre paréntesis), lo cual permitió identificar a los aspirantes que alcanzaron o superaron 80 puntos en la calificación global. De este modo, encontramos que las combinaciones TOPSIS-PJA y MSP-PJA asignan a cinco aspirantes una calificación mayor o igual a 80, mientras que con TOPSIS-MAP y MSP-MAP solo se asignaron a cuatro (Cuadro 5).

En el análisis sobresale que las cuatro combinaciones incluyen en su selección a tres aspirantes; 10, 15 y 18. El aspirante número 15 es el que mejor satisface el perfil de ingreso ya que aparece en el primer lugar de las cuatro selecciones. El segundo aspirante es el número 10, ya que aparece en segundo lugar en tres selecciones y en cuarto lugar en la otra, mientras que el aspirante número 18 resulta incluido en órdenes distintos (Cuadro 5). Otro resultado importante es el hecho de que las combinaciones TOPSIS-PJA y MSP-PJA seleccionan a los mismos aspirantes, pero en distinto orden. De manera análoga, las combinaciones TOPSIS-MAP y MSP-MAP seleccionan los mismos aspirantes, pero exactamente en el mismo orden.

Cuadro 5 Selección de los mejores aspirantes al programa de Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo, según combinación de métodos de ponderación-agregación. 

Clasificación Aspirante/Método
TOPSIS-PJA TOPSIS-MAP MSP-PJA MSP-MAP
1 15 15 15 15
2 13 10 10 10
3 16 18 13 18
4 10 12 18 12
5 18 - 16 -

TOPSIS: Technique for order of preference by similarity to ideal solution, PJA: Proceso jerárquico analítico, MAP: Método de asignación de puntos, MSP: Método suma ponderada.

El ordenamiento de Pareto como técnica para identificar la combinación ponderación-agregación más compatible con los criterios usados, de acuerdo con la distancia total o distancia promedio calculada, muestra que el método de agregación MSP-PJA presenta la distancia promedio mínima (Cuadro 6). Este método debe considerarse como el más compatible con los otros tres construidos basados en los criterios incluidos.

Cuadro 6 Distancias totales y promedios, según método ponderación-agregación, para la identificación de la combinación más compatible con los criterios evaluados en la selección de aspirantes al programa de Maestría en Ciencias Forestales de la Universidad Autónoma Chapingo. 

Combinación-Métodos Distancia total Distancia promedio
TOPSIS-PJA 548 182.66
TOPSIS-MAP 428 142.66
MSP-PJA 336 112
MSP-MAP 432 144

TOPSIS: Technique for order of preference by similarity to ideal solution, PJA: Proceso jerárquico analítico, MAP: Método de asignación de puntos, MSP: Método suma ponderada.

El hecho de que la combinación resultante sea MSP-PJA tiene la ventaja de que el método de agregación MSP es de fácil aplicación. Por su parte, el método de ponderación PJA podría presentar dificultades de operación si se incrementa el número de criterios a ponderar; sin embargo, esta posible limitación no ha afectado los resultados obtenidos en la presente investigación.

El ordenamiento de Pareto determina que el índice que genera un ordenamiento cuya distancia es la mínima a los ordenamientos de los demás índices, es el de mayor compatibilidad con los criterios del programa. Lo anterior debido a que cada uno de los índices construidos con diferente combinación, considera los criterios del programa de distinta manera, pero siempre son los mismos. La asociación de estas ideas se desprende de lo siguiente. Por un lado, la asignación de pesos vía PJA o MAP se hace de acuerdo con la interpretación que los expertos tienen de los criterios del programa y, siendo partícipes del mismo, son quienes mejor los conocen y establecen a través de su academia. Por otro lado, los métodos de agregación, lo que incorporan son las valoraciones de los criterios usados en la selección, de modo que, en este aspecto, el índice también los incluye en su construcción. En otras palabras, cada índice trata de manera diferente los criterios que usa y la diferencia está dada por el modo en que se ponderan y se agregan, tomando en cuenta el conocimiento de los expertos y las propiedades algebraicas de los métodos de agregación. De este modo cada índice representa una forma distinta de tratar la información, produciendo un ordenamiento diferente.

Cuando se selecciona el índice cuyo ordenamiento tiene una distancia mínima con el ordenamiento del resto de los índices probados, sin duda, es el más compatible entre los probados con los criterios del programa. Por supuesto, si se ensayaran más métodos de ponderación y agregación, el índice más compatible sería más robusto; no obstante, es importante mantener las opciones entre las más frecuentes y sencillas, que suelen ser las que mejores resultados han producido, así como acotar el número de ellas.

Conclusiones

Los métodos multicriterio representan una buena opción para considerar apropiadamente la gran cantidad de información generada en un proceso de selección. El método de ponderación determinó los aspirantes a elegir, ya que indistintamente de la agregación usada, los estudiantes seleccionados fueron los mismos si las ponderaciones de los criterios fueron las mismas. La combinación de métodos MSP-PJA fue la más compatible con el resto de las combinaciones utilizadas, pues induce una clasificación cuya distancia a otras clasificaciones es mínima. Esto indica que las consideraciones de los expertos para ponderar (PJA) y la técnica utilizada para agregar (MSP) son más compatibles que el resto de las combinaciones. Dado que algunos de los criterios considerados son de carácter cualitativo y susceptibles de ser evaluados mediante etiquetas lingüísticas, una posible dirección en posteriores estudios es el uso de la lógica difusa. Durante los últimos 10 años, los estudiantes de la Maestría en Ciencias Forestales se eligieron utilizando el método de asignación de puntos (MAP) en la fase de ponderación de criterios, y el método suma ponderada (MSP) en la agregación. Los resultados obtenidos mediante esa selección fueron muy buenos, por lo que agregan certidumbre y ofrecen la oportunidad de precisar el procedimiento hasta ahora utilizado.

References

Adalid, C. M., & de Urdanivia, D. (2011). Conacyt y el posgrado: Políticas de evaluación y calidad. Gestión y Estrategia, 40, 87-98. Retrieved from http://zaloamati.azc.uam.mx/bitstream/handle/11191/2972/conacyt-y-el-posgrado-politicas-de-evaluacion-y-calidad.pdf?sequence=1Links ]

Álvarez-Montero, F., Mojardín-Heráldez, A., & Audelo-López, C. (2014). Criterios e instrumentos para la admisión en estudios de doctorado. Journal of Research in Educational Psychology, 12(3), 853-886. doi: 10.14204/ejrep.34.13138 [ Links ]

Afshari, A., Mojahed, M., & Yuseff, R. M. (2010). Simple additive weighting approach to personnel selection problem. International Journal of Innovation, Management and Technology, 1(5), 511-515. doi: 10.7763/IJIMT.2010.V1.89 [ Links ]

Aznar-Bellver, J., & Guijarro-Martínez, F. (2012). Nuevos métodos de valoración: Modelos multicriterio. España: Editorial Universitat Politècnica de València. Retrieved from http://personales.upv.es/~fraguima/Modelos%20multicriterio.pdfLinks ]

Bengoetxea-Castro, E., & Arteaga-Ortiz, J. (2009). La evaluación de postgrados internacionales en la Unión Europea. Ejemplos de buenas prácticas de programas europeos. Revista de Universidad y Sociedad del Conocimiento, 6(2), 60-68. Retrieved from http://openaccess.uoc.edu/webapps/o2/bitstream/10609/2984/1/v6n2_bengoetxea_arteaga.pdfLinks ]

Chakrabarty, N., & Bhattacharjee, D. (2012). Aggregation and weightage issues concerning composite index development: Experience with digital divide in Asian countries. Asian Pacific Journal of Library and Information Science, 2(2), 24-37. Retrieved from https://apjlis.msu.ac.th/index.php/APJLIS/article/viewFile/87/93Links ]

Colonia-Duque, S. M. (2010). Caracterización del perfil de los estudiantes de posgrado a partir de la información de admisión y el desempeño académico. Aplicación a la maestría en ingeniería administrativa de la Universidad Nacional Sede Medellín. Tesis doctoral, Universidad Nacional de Colombia, Medellín, Colombia. Retrieved from http://www.bdigital.unal.edu.co/3601/1/42144324.2010.pdfLinks ]

Consejo Nacional de Ciencia y Tecnología (CONACYT). (2013). Marco de referencia para la evaluación y seguimiento de programas de posgrado. Retrieved from http://dsia.uv.mx/sipo/Material_apoyo/Marco_Referencia_PNPC_2013-3.pdfLinks ]

Davies, H. (2009). Survey of master degrees in Europe. Brussels: European University Association. Retrieved from http://www.eua.be/Libraries/publications-homepage-list/EUA_Survey_Of_Master_Degrees_In_Europe_FINAL_www.pdf?sfvrsn=2Links ]

European University Institute (EUI). (2014). Academic rules and regulations for the doctoral and master’s programmes. Retrieved from http://www.eui.eu/Documents/ServicesAdmin/DeanOfStudies/EUI-RulesRegs.pdfLinks ]

Expert Choice Inc. (2014). Expert Choice Desktop 11.5.1860. Airlington, VA, USA: Author. [ Links ]

García, J. M. (1995). El desarrollo del posgrado en México: El caso de los sectores público y privado. Revista Latinoamericana de Estudios Educativos (México), 20(1), 107-130. Retrieved from http://www.cee.edu.mx/revista/r1981_1990/r_texto/t_1990_1_05.pdfLinks ]

Ibañez, B. C. (2009). Evaluación diagnóstica y admisión de aspirantes a la educación superior: Algunas notas metodológicas. Tecnociencia Chihuahua, 3(1), 39-46. Retrieved from http://tecnociencia.uach.mx/numeros/v3n1/data/EvaluacionDiagnosticayAdmisiondeAspirantes.pdfLinks ]

Kehm, B. M. (2006). Doctoral education in Europe and North America: A comparative analysis. Wenner Gren International Series, 67-78. Retrieved from http://www.portlandpress.com/pp/books/online/fyos/083/0067/0830067.pdfLinks ]

Kuncel, N. R., Wee, S., Serafin, L., & Hazlett, S. A. (2010). The validity of Graduate Record Examination for master´s and doctoral programs: A meta-analytic investigation. Educational and Psychological Measurement, 70(2), 340-353. doi: 10.1177/0013164409344508 [ Links ]

Kuncel, N. R., Credé, M., & Thomas, L. L. (2007). A Meta-Analysis of the predictive validity of the Graduate Management Admission Test (GMAT) and Undergraduate Grade Point Average (UGPA) for graduate student academic performance. Academy of Management Learning & Education, 6(1), 51-68. doi: 10.5465/AMLE.2007.24401702 [ Links ]

McGrath, C. H., Henham, M. L., Corbett, A., Durazzi, N., Frearson, M., Janta, B., ...Schweppenstedde, D. (2014). Higher education entrance qualifications and exams in Europe. POLICY DEPARTMENT B: STRUCTURAL AND COHESION POLICIES. Retrieved from http://www.europarl.europa.eu/RegData/etudes/etudes/join/2014/529057/IPOL-CULT_ET(2014)529057_EN.pdfLinks ]

Organisation for Economic Cooperation and Development (OECD). (2008). Handbook on constructing composite indicators: Methodology and user guide. publishing. France: Author. Retrieved from http://www.oecd.org/std/leading-indicators/42495745.pdfLinks ]

Paracchini, M. L., Pacini, C., Calvo, S., & Vogt, J. (2007). Weighting and aggregation of indicators for sustainability impact assessment in the SENSOR context. In K. Helming, M. Pérez-Soba, & P. Tabbush (Eds.), Sustainability impact assessment of land changes (pp. 349-372). New York: Springer Berlin Heidelberg. [ Links ]

Pavić, Z., & Novoselac, V. (2013). Notes on TOPSIS method. International Journal of Research in Engineering and Science, 1(2), 5-12. Retrieved from http://www.ijres.org/papers/v1-i2/B120512.pdfLinks ]

Podvezko, V. (2011). The comparative anlaysis of MCDA methods SAW and COPRAS. Inzinerine Ekonomika-Engineering Economics, 22(2), 134-146. doi: 10.5755/j01.ee.22.2.310 [ Links ]

Saaty, T. L., & Vargas, L. G. (2012). Models, methods, concepts & applications of the analytic hierarchy process. USA: Springer Science & Business Media. doi: 10.1007/978-1-4614-3597-6 [ Links ]

San Cristóbal, J. R. (2012). Multi-criteria analysis in the renewable energy industry. New York: Springer London Dordrecht Heidelberg. [ Links ]

Santelices, M. V., Ugarte, J. J., Flotts, M. P., Radovic, D., Catalán, X., & Kyllonen, P. (2010). Medición de atributos no cognitivos para el sistema de admisión a la educación superior en Chile. Revista Iberoamericana de Evaluación Educativa, 3(2), 49-75. Retrieved from https://repositorio.uam.es/xmlui/bitstream/handle/10486/661612/RIEE_3_2_3.pdf?sequence=1Links ]

Velásquez, M., & Hester, P. (2013). An analysis of multi-criteria decision making methods. International Journal of Operation Research, 10(2), 56-66. Retrieved from http://www.orstw.org.tw/ijor/vol10no2/ijor_vol10_no2_p56_p66.pdfLinks ]

Wang, X. C., & Xiao, X. Y. (2011). On weights determination in ideal point multiattribute decision-making model. In S. W. Wei, S. Xu, Ch. Wuan, Y. Zhong, W. Wojtkowski, G. Wojtkowski, & H. Linger (Eds.), Information Systems Development (pp. 475-481). New York: Springer [ Links ]

Recibido: 22 de Diciembre de 2016; Aprobado: 07 de Junio de 2017

Creative Commons License This is an open-access article distributed under the terms of the Creative Commons Attribution License