Ciencias Humanas y Sociales

 

Metodología AED-RNA para la estimación de la eficiencia institucional: El caso de las dependencias de educación superior (DES) de ingeniería de México

 

Measuring the institutional efficiency using data envelopment analysis and artificial neural networks: The case of Mexican colleges of engineering

 

Antonio Altamirano-Corro^{1, 2} y Rebeca del Rocío Peniche-Vera¹

 

¹Facultad de Ingeniería, Universidad Autónoma de Querétaro

² Facultad de Contaduría y Administración, Universidad Autónoma de Querétaro, México

 

Antonio Altamirano Corro. E-mail: jaaltami@gmail.com

 

Recepción: 17-04-2013
Aceptación: 24-02-2014

 

Resumen

Introducción: En la presente investigación se discute la utilización del Análisis Envolvente de Datos (AED) combinado con Redes Neuronales Artificiales (RNA) para la evaluación de la eficiencia institucional, en este caso de las Dependencias de Educación Superior (DES) de Ingeniería en México. Ambas metodologías son ampliamente usadas de manera independiente a nivel mundial en áreas, tales como: gobierno, negocios, industria, atención de salud y educación. Escasos artículos se han encontrado que relacionen ambas metodologías y ninguno que las utilice combinadas para determinar la eficiencia institucional en educación.

Método: La contribución de este trabajo es presenter una metodología para medir la eficiencia de las escuelas de ingeniería de México entrenando una red neuronal artificial con la información generada por el AED. Para la evaluación de la eficiencia de de las 51 escuelas de ingeniería se utilizaron los indicadores del Programa Integral de Fortalecimiento Institucional (PIFI 2008-2009).

Resultados: Se obtuvieron resultados bastante satisfactorios, podría decirse que el modelo funciona a la perfección, esto es, introduciendo los valores del PIFI, se puede determinar el nivel de eficiencia educativo utilizando la red neuronal entrenada

Conclusión: El impacto inmediato del trabajo propuesto es que no solamente se puede determinar la eficiencia institucional de DES, sino que se puede aplicar la metodología a otras instituciones, tanto públicas como privadas.

Palabras Clave: Investigación de operaciones, análisis envolvente de datos, redes neuronales artificiales, eficiencia.

 

Abstract

Introduction: This paper proposes an approach to measure the institutional efficiency combining data envelopment analysis (DEA) with artificial neural networks (ANN). The proposed approach is applied to Mexican colleges of engineering as a case of study. Both methods are frequently used independently, on a global level in areas such as: Government, business, industry, health care and education.

Method: The contribution of this work is to present a methodology to measure the efficiency of Mexican colleges of engineering training a neural network with the information generated from the DEA. For the evaluation of the efficiency of the 51 colleges of engineering the indicators extracted from the Programa Integral de Fortalecimiento Institucional (PIFI 2008-2009) Integrated Program of Institutional Strengthening were used.

Results: The results were very good, the methodology works fine, introducing the values of the PIFI we can determine the educative efficiency level using the trained neural network.

Conclusion: The immediate impact is that applying this methodology we can measure institutional efficiency in private and public institutions.

Keywords: operations research, data envelopment analysis, artificial neural networks, efficiency.

 

Introducción

La eficiencia es el logro de un objetivo utilizando una mínima cantidad de recursos (Koontz y Weihrich, 2004), teniendo esto en mente, podemos considerar la eficiencia institucional como una situación donde la institución hace un uso adecuado de los recursos para alcanzar los fines propuestos en su planeación. Así mismo, la educación pública en varios países, está cambiando los argumentos tradicionales de favorecer la equidad hacia lograr metas de eficiencia educacional (Astorga et al., 2007), el nuestro no es la excepción, para ello, es necesario utilizar técnicas que permitan una evaluación objetiva del desempeño educativo. La evaluación de la educación superior es una práctica común en varios países, como podemos ver en la estrategia para la mejora de la calidad de la educación superior europea, (Martin, 2006). De hecho ya hay indicadores de desempeño establecidos en ciertas áreas y sus resultados impactan en las decisiones de empleadores y estudiantes (Colbert et al., 2000).

Llevar a cabo la evaluación del desempeño de cualquier organización requiere de un entendimiento de las metas y objetivos de la misma, (Johnes, 1992).

En el caso de las universidades públicas, a partir de 2001 los ejercicios de planeación han dado lugar a la formulación de sus PIFI's (Programa Integral de Fortalecimiento Institucional). Estos Programas tienen como objetivo mejorar y asegurar la calidad de los programas educativos que ofrecen las instituciones y de sus esquemas de gestión.

En la formulación de estos Programas se ha fomentado que las universidades tomen en consideración las necesidades del desarrollo nacional, regional y estatal, así mismo, identifiquen los retos que enfrenta la institución para mejorar y asegurar la calidad de los programas educativos y servicios que ofrece (SEP, 2012).

Tambien, enfocan la atención a la problemática institucional a partir de la mejora del perfil de su personal académico, el fortalecimiento de los cuerpos académicos, y de sus esquemas de gestión y rendición de cuentas.

Se considera de suma importancia el que las organizaciones y dependencias cuenten con una metodología para evaluar su desempeño en general.

La evaluación del desempeño, también sirve de base para la planeación de actividades de cada dependencia de educación superior de manera que se aprovechen al máximo los recursos propios y se mejoren los indicadores de desempeño. La complejidad de las organizaciones hoy en día no permite soluciones sencillas para la medición del desempeño y su mejora. Esto conlleva la necesidad de elaborar una metodología para la evaluación del desempeño basado no solo en AED sino en combinación con otras técnicas.

Los objetivos de este trabajo fueron: (1) investigar si una metodología basada en el AED-RNA era posible para determinar un índice de eficiencia para la evaluación institucional y (2) proponer una herramienta para los procesos de evaluación. Esta información es crucial a fin de mejorar la toma de decisiones en las instituciones de educación superior.

En la Tabla 1 se presenta un ejemplo de resultado de evaluación del PIFI de una Universidad (UAQ) en el cual los parámetros de evaluación se ubican de menor a mayor calificación entre 1 y 4 para las diferentes DES que la conforman (13 en total). En este sentido los valores de 1 marcados con rojo representan los criterios en los cuales hay que trabajar y en los que las DES se encuentran muy por debajo del nivel de cumplimiento y por otra parte los valores de 4 marcados con verde corresponden a criterios en los cuales las DES han cumplido de manera satisfactoria. Encontrandose también los valores de 2 y 3 como etapas intermedias (SEP, 2012).

El Programa Integral de Fortalecimiento Institucional (PIFI) es un proyecto impulsado por la SEP para integrar la planeación, la evaluación y el financiamiento con el propósito de mejorar la capacidad y competitividad académica, entendidas fundamentalmente como consolidación de cuerpos académicos y acreditación de programas educativos respectivamente, así como, a mejorar la gestión y mecanismos de rendición de cuentas.

 

Análisis Envolvente de Datos (AED)

La Metodología del Análisis Envolvente de Datos (AED) ha sido ampliamente usada para evaluar el desempeño relativo de un conjunto de Unidades de Toma de Decisiones (UTD) basada en criterios múltiples.

Debido a que requiere muy pocos supuestos AED ha abierto posibilidades de evaluación institucional, donde es muy difícil hacerla, debido a la naturaleza compleja de las relaciones entre múltiples insumos y múltiples productos.

Esta metodología fue caracterizada primero en un escrito de (Charnes, Cooper y Rhodes, 1978) como una manera de comparar la eficiencia de las UTD's que tienen múltiples insumos y múltiples productos, una UTD puede ser una empresa de servicio, de manufactura y en el caso que se tratará en esta investigación, una Dependencia de Educación Superior.

En este caso asumimos que si una Dependencia de Educación Superior, DES₁ es capaz de producir o generar Y₁ unidades de producto con X₁ unidades de insumo, las otras DES deben también ser capaces de hacer lo mismo si operan eficientemente. Similarmente, si la DES₂ es capaz de producir Y₂ unidades de producto con X₂ unidades de insumo, entonces las otras DES deben ser también capaces de hacer lo mismo. Ambas DES (DES₁ y DES₂) pueden ser combinadas para generar una DES compuesta con insumos y productos compuestos. Debido a que esta DES no existe se le llama DES virtual. Esta DES virtual es usada como un estándar de desempeño para las demás DES.

Este método es especialmente apropiado para evaluar la eficiencia de las universidades públicas, ya que al operar fuera del mercado, los criterios como la rentabilidad y el ingreso, no son satisfactorios debido a que las universidades públicas no están enfocadas a obtener utilidades y su principal fuente de financiamiento no proviene de ventas de bienes y servicios sino de financiamiento público.

En particular, varios estudios se han emprendido para analizar la eficiencia en instituciones de educación superior.

Entre los artículos más relevantes que aplican AED en la Educación Superior, se encuentran los siguientes:

• El análisis comparativo de (Rhodes y Southwick, 1986) que estudia las eficiencias de las universidades públicas y privadas de EU.

• (McMillan y Datta, 1998) usaron AED para evaluar la eficiencia relativa de 45 Universidades canadienses

• (Ng y Li, 2000) examinaron la efectividad de la reforma implementada a mediados de los 80's en China.

• (Abbot y Doucoulagos, 2003) usaron AED para determinar el desempeño en la investigación y la enseñanza de las universidades públicas australianas.

Referente a la educación superior en México se han llevado a cabo pocos estudios empleando AED, podemos citar los más relevantes (Siegler, 2004) y (Güemes-Castorena, 2001 y 2008).

Han pasado más de 30 años desde el trabajo seminal de (Charnes, Cooper y Rhodes, 1978) y el desarrollo continua y no parece haber signos de debilidad, tan solo en 2009 se publicaron más de 700 artículos de AED.

De acuerdo a la última revisión de literatura debida a (Liu et al., 2013) el 67% de los artículos presentan aplicaciones al mundo real, siendo las áreas bancarias, educativas, atención de salud las más populares, el resto de los artículos se refieren a aspectos metodológicos.

Esta tendencia contrasta con los primeros 20 años, donde el mayor porcentaje de artículos eran sobre metodología.

Desafortunadamente las aplicaciones que combinan AED con otras técnicas son escasas y menos en el área educativa.

AED y sus aplicaciones continuarán siendo un área central de investigación en los años por venir, debido entre otras razones a lo siguiente:

I. La medición de la eficiencia y la productividad de grandes organizaciones no es un ejercicio trivial, involucra una estructura de input-outputs compleja.

II. Hay un número inagotable de aplicaciones para el mundo real que involucran medición de eficiencia, lo cual en países emergentes como el nuestro es una necesidad apremiante.

III. Actualmente, la posibilidad de obtener y almacenar datos es más fácil de lo que era hace dos décadas.

 

Formulación del Modelo AED para las DES de Ingeniería

Inputs y Outputs

En un modelo de AED, un tema problemático es la designación de los insumos y productos. Para el modelo que nos ocupa, se eligieron como los más representativos después de un sondeo efectuado con las autoridades de la UAQ los siguientes criterios extraidos de la evaluación del PIFI por parte de la SEP (Tabla 2).

El significado de cada uno de los indicadores es el siguiente:

1.1 Variación del porcentaje de profesores de tiempo completo (PTC) con posgrado entre 2003 y 2008.

1.2 Variación del porcentaje de PTC con perfil deseable entre 2003 y 2008.

1.3 Variación del porcentaje de PTC adscritos al SNI entre 2003 y 2008.

1.4 Variación del número de cuerpos académicos (CA) en consolidación entre 2003 y2008.

1.5 Variación del número de cuerpos académicos (CA) consolidados entre 2002 y 2008.

1.6 Brechas de capacidad académica al interior de la DES en el periodo 2004-2008.

1.7 Variación del número de programas educativos (PE) de buena calidad entre 2003 y 2008. Clasificados en el nivel 1 del padrón de programas evaluados por los CIEES y/o acreditados.

1.8 Variación del porcentaje de matrícula atendida en PE evaluables de Técnico Superior Universitario (TSU) y licenciatura reconocidos por su buena calidad entre 2003 y 2008.

1.9 Porcentaje de PE de posgrado de la DES reconocidos por el Programa Nacional de Posgrado de Calidad (PNPC) respecto al total de la oferta educativa de posgrado.

1.10 Brechas de competitividad académica al interior de la DES en el periodo2003-2008.

A manera de glosario se tiene:

PTC Doctorado: Profesores de Tiempo Completo con Doctorado.

PTC SNI: Profesores de Tiempo Completo que pertenecen al Sistema Nacional de Investigadores (SNI). El Sistema Nacional de Investigadores fue creado por Acuerdo Presidencial publicado en el Diario Oficial de la Federación el 26 de julio de 1984, para reconocer la labor de las personas dedicadas a producir conocimiento científico y tecnología. El reconocimiento se otorga a través de la evaluación por pares y consiste en otorgar el nombramiento de investigador nacional. Esta distinción simboliza la calidad y prestigio de las contribuciones científicas En paralelo al nombramiento se otorgan incentivos económicos a través de becas cuyo monto varía con el nivel asignado.

PNPC: Programa Nacional de Posgrados de Calidad (PNPC), el cual es administrado de manera conjunta entre la Secretaría de Educación Pública a través de la Subsecretaría de Educación Superior y el CONACYT. El programa establece como misión "fomentar la mejora continua y el aseguramiento de la calidad del posgrado nacional, que dé sustento al incremento de las capacidades científicas, tecnológicas, sociales, humanísticas, y de innovación del país".

Cuerpo Académico (CA): Es un conjunto de profesores-investigadores que comparten una o más líneas de estudio, cuyos objetivos y metas están destinados a la generación y/o aplicación de nuevos conocimientos. Además, por el alto grado de especialización que alcanzan al ejercer la investigación y la docencia, logran impartir una educación de muy buena calidad. Los cuerpos académicos sustentan las funciones académicas institucionales e integran parte del sistema de educación superior del país.

PE Acreditados: Son programas educativos, de los cuales un organismo integrado por pares académicos del más alto nivel de las instituciones de educación superior de todo el país evalúa y certifica las funciones y los programas académicos que se imparten en las instituciones educativas que lo solicitan y formula recomendaciones puntuales para su mejoramiento, contenidas en los informes de evaluación, que se entregan a los directivos de las instituciones.

 

Modelo de AED

En un modelo de AED pueden estar presentes, tanto insumos como productos indeseables o deseables, (Zhu, 2009) por ejemplo, se puede tener como producto indeseable el número de artículos defectuosos, dicho número se desearía disminuir para mejorar el desempeño. Si la ineficiencia existe en un proceso de producción donde productos finales son manufacturados junto con una producción de desechos y contaminantes, los outputs de desechos y contaminantes son indeseables y deben ser reducidos para mejorar el desempeño.

Cuando no hay inputs y outputs indeseables en el rendimiento de las UTDs, los modelos del AED que incrementan la eficiencia están basados en el incremento o disminución de los productos e insumos respectivamente. Pero en muchos problemas de aplicación los insumos se incrementan y se quiere aumentar la eficiencia, por lo que se manejan como insumos indeseables. Tal resultado en la operación, sugiere clasificar a los insumos como insumos deseables e indeseables, los cuales se reducen y se aumentan respectivamente para incrementar la eficiencia, así mismo, incrementar y disminuir los productos deseables e indeseables respectivamente, para incrementar la eficiencia (Zhu, 2009).

En este sentido no se debe interpretar deseable e indeseable como se maneja en el habla común, sino considerarlos en el contexto de su uso en modelos de AED.

En modelos convencionales de AED, por ejemplo: los modelos de retorno a escala variable, es asumido que los productos deben ser incrementados y los insumos decrementados para mejorar el desempeño o alcanzar la frontera de mejores prácticas. Si uno trata los productos indeseables como insumos de tal manera que puedan ser reducidos, el modelo resultante de AED no reflejará el verdadero proceso de producción.

(Seiford y Zhu, 2002) desarrollaron un enfoque para tratar estos insumos/productos indeseables en modelos envolventes con retornos a escala variables. Lo que hicieron fue utilizar la invariancia de la eficiencia ante transformaciones de datos.

Hay situaciones en la práctica educativa, en las que algunos insumos necesitan ser incrementados o algunos productos decrementados para mejorar el desempeño, como sucede en este caso.

El modelo que se va a adoptar es el de retornos a escala variable con insumos indeseables, en este caso para aumentar la eficiencia institucional, se busca aumentar los insumos o criterios (1.1, 1.2, 1.3, 1.4, 1.5 y 1.6).

 

Modelo de Retorno a Escala Variable orientado a Insumos:

Para trabajar con los insumos indeseables se considera lo siguiente

x_ij^Iy x_ij^Dson los insumos que se desea incrementar y decrementar respectivamente.

Se multiplica x_ij^I por -1 y se obtiene una u_i adecuada para tener

Basado en el modelo citado y utilizando la transformación anterior, se obtiene:

Modelo de Retorno a Escala Variable orientado a Insumos con Insumos indeseables:

min τ

Sujeto a:

Donde x_ij^I es incrementado y x_ij^D decrementado para que una Unidad de Toma de Decisiones (UTD) mejore el desempeño.

 

Resultados Computacionales del AED

Como se puede ver en la siguiente tabla, se analizaron 51 DES con sus respectivos valores de insumos y productos. Para este trabajo se utilizó el software DEAFrontier^TM, que es un complemento de Excel desarrollado por Joe Zhu.

Tabla 3

Los resultados obtenidos utilizando el DEAFrontier y ordenándolos de mayor a menor son los siguientes:

Tabla 4

La siguiente figura refleja el Índice de Eficiencia Educativo:

Modelo de RNA

Las redes neuronales son capaces de aprender complejas relaciones de datos. Al imitar las funciones de un cerebro, pueden diferenciar patrones de datos y luego extrapolar predicciones cuando se introducen nuevos datos. Los problemas en los que se usan se pueden dividir en dos grupos generales:

a). Problemas de Clasificación: Problemas en los que se trata de determinar el tipo de categoría al que pertenece un elemento desconocido.

b). Problemas Numéricos: Situaciones en las que debe predecir un resultado numérico específico.

El caso que se está analizando es un problema numérico, en el cual, los insumos y productos del AED serán las variables independientes del modelo de RNA y el valor de eficiencia encontrado con el AED será la variable dependiente.

El modelo más adecuado para el manejo de estos datos es el de Red Neuronal de Regresión Generalizada (GRN), el cual se basa en ideas similares a las de la Red Neuronal Probabilística (PNN). Las redes GRN se usan para aproximación de predicciones/funciones numéricas, mientras que las redes PNN se usan para predicciones de categorías y clasificación. Ambos tipos de redes fueron presentadas por (Specht, 1990, 1991).

El modelo se va a desarrollar en cuatro pasos:

1). Preparación de Datos

2). Entrenamiento

3). Prueba

4). Predicción

 

La Arquitectura GRN

Una red neuronal de regresión generalizada para dos variables numéricas independientes se estructura como se muestra en el gráfico de la figura 2 (suponiendo que sólo hay tres casos):

La capa de patrón contiene un nodo por cada caso de entrenamiento. La presentación de un caso de entrenamiento en la red, en este caso consiste en la presentación de dos valores numéricos independientes. Cada neurona de la capa de patrón calcula su distancia con el caso presentado. Los valores transferidos a los nodos numerador y denominador son funciones de la distancia y del valor dependiente. Los dos nodos de la capa de suma suman sus valores de entrada, mientras que el nodo de salida los divide para generar la predicción. La función de distancia calculada en las neuronas de la capa de patrón usa "factores de suavización"; cada valor de entrada tiene su propio valor de "factor de suavización". Con un solo valor de entrada, cuanto mayor sea el valor del factor de suavización, más significativos serán los casos entrenados distantes para el valor de predicción. Con 2 valores de entrada, el factor de suavización está en relación con la distancia a lo largo del eje de un plano y, en general, con múltiples valores de entrada, la relación es con una dimensión en un espacio multidimensional.

La red GRN entrenada consta de factores de suavización optimizados para minimizar el error de la red entrenada, y para hacerlo se utiliza el método de optimización de gradiente descendente conjugada. La medida de error que se usa durante el entrenamiento para evaluar diferentes conjuntos de factores de suavización es el error cuadrático medio. Sin embargo, cuando se calcula el error cuadrático de un caso entrenado, ese caso se excluye temporalmente de la capa de patrón.

Esto se hace porque la neurona excluida calcularía una distancia cero, haciendo que otras neuronas fueran insignificantes para el cálculo de la predicción

Resultados Computacionales de la RNA

Hay varios programas de software disponibles para construir y analizar RNA's. Debido a sus extensas capacidades para construir y analizar redes basadas en una gran variedad de métodos de entrenamiento y aprendizaje, se eligió el programa NeuralTools Professional (Palisade 2010) para este estudio.

Se obtuvieron resultados bastante satisfactorios, podría decirse que el modelo funciona a la perfección, esto es, introduciendo los valores del PIFI, se puede determinar el nivel de eficiencia educativo utilizando la red neuronal entrenada.

Tabla 5

Tabla 6

Tabla 7

 

Conclusiones

Como cualquier otro estudio, el presente tiene varias limitaciones que requieren más investigación. Primero, puede no ser posible para una DES convertirse en más eficiente, debido a que varios insumos y/o productos no estén bajo el control de la administración. Por lo tanto algunas metas pueden ser imposibles de alcanzar en la práctica. Segundo, las variables seleccionadas en el presente estudio pueden no se exhaustivas y el conjunto de datos no ser lo suficientemente grande.

Los resultados de AED son obtenidos de la aplicación de un algoritmo matemático sin considerar las condiciones específicas y restricciones de una DES. Está en las manos de la administración usar estos resultados de manera juiciosa como apoyo para la toma de decisiones.

Examinando los resultados se ve que el uso conjunto del AED y RNA es una herramienta excelente para la determinación de la eficiencia institucional y obtenemos resultados que no serían posibles con el uso aislado de ambas técnicas.

A menudo, la asignación del presupuesto de ciertos programas gubernamentales se realiza de acuerdo al desempeño académico de las instituciones. Con el uso combinado de AED y RNA se puede facilitar esta tarea, ya que aporta elementos que permiten tomar decisiones de manera más objetiva.

Así mismo, los resultados de AED pueden ser usados para identificar las prioridades para inspección y mejora del desempeño. Una de las implicaciones más importantes de este estudio es que las medidas de eficiencia facilitan la publicación de rankings, los cuales son de interés, ya que promueven y estimulan una búsqueda de mejoras.

Lo novedoso de este estudio es que dado un nivel de indicadores, se puede predecir la eficiencia de manera confiable, combinando los resultados de ambas técnicas se obtiene una mayor comprensión de los factores relevantes de la eficiencia de una institución privada o pública como en este caso.

Los resultados de la metodología AED-RNA en si mismos no indican por qué ciertas DES se desempeñan mejor, lo que procede es una segunda etapa de análisis en la que la meta sea un mejor entendimiento de los factores asociados con el mejor desempeño (Pidd, 2012), esta metodología debe pensarse como el inicio de un ejercicio de comparación que nos posibilite un mejor aprendizaje de los sistemas educativos.

 

Agradecimientos

Los autores desean agradecer al Consejo Nacional de Ciencia y Tecnología (CONACyT) y a la Universidad Autónoma de Querétaro por el apoyo brindado a esta investigación.

 

Referencias

Astorga, A. et al. (2007). Educación de Calidad para Todos: Un Asunto de Derechos Humanos, Documento de discusión sobre políticas educativas en el marco de la II Reunión Intergubernamental del Proyecto Regional de Educación para América Latina y el Caribe (EPT/PRELAC), ORELAC-UNESCO.         [ Links ]

Abbot, M., & Doucouliagos, C. (2003). The efficiency of Australian universities: a data envelopment analysis. Econ. Edu. Rev. 22: 89–97.         [ Links ]

Bougnol, M. & Dulá, J. (2006). Validating DEA as a ranking tool: An application of DEA to assess performance in higher education. Ann. Oper. Res. 145 (1): 339-365.         [ Links ]

Colbert, A., Levary, R., & Shaner, M. (2000). Determining the relative efficiency of MBA programs using DEA. Eur.J. Oper. Res. 125: 656–69.         [ Links ]

Charnes, A., Cooper, W., & Rhodes, E. (1978). Measuring the Efficiency of Decision Making Units, Eur. J. Oper. Res. 2(6): 429-444.         [ Links ]

DEAFrontier (2009). DEAFrontier. DEA add-in for Microsoft Excel. Worcester, MA.         [ Links ]

Güemes-Castorena, D. (2008). A DEA Decision Making Model for Higher Education Funding. VDM-Verlag.         [ Links ]

Güemes-Castorena, D. (2001). An efficiency-based decision making model for higher education funding in Mexico. Ph.D. dissertation. George Washington University.         [ Links ]

Johnes, G. (1992). Performance indicators in higher education: a survey of recent work. Oxford Rev. Econ. Pol. 8(2): 19–34.         [ Links ]

Koontz, H. & Weihrich, H. (2004) Management. A Global Perspective, (12th ed.) ,McGraw-Hill.         [ Links ]

Liu, J. et al., ((2013) Data Envelopment Analysis 1978-2010: A citation –based literature survey, Omega 41, 3-15.         [ Links ]

Liu, J. et al., (2013), A survey of DEA applications, Omega 41, 893-902.         [ Links ]

Martin, E. (2006). Efficiency and Quality in the Current Education Context in Europe: an application of the data envelopment analysis methodology to performance assessment of departments within the University of Zaragoza. Qual. High. Educ. 12(1): 57-79.         [ Links ]

McMillan, M, & Datta, D. (1998). The relative efficiencies of Canadian universities: a DEA perspective. Can. Public Pol. 24(4): 485–511.         [ Links ]

Ng, YC, & Li, S.K. (2000). Measuring the research performance of Chinese higher education institutions: an application of data envelopment analysis. Educ. Econ. 8(2): 139–56.         [ Links ]

Palisade Corporation (2010). The DecisionTools Industrial Suite - NeuralTools Version 5.5.         [ Links ]

Pidd, M., (2012) Measuring the Performance of Public Services. Principles and Practice, Cambridge University Press.         [ Links ]

Rhodes, E., & Southwick, L. (1986). Determinants of Efficiency in Public and Private Universities. Department of Economics. University of South Carolina.         [ Links ]

Seiford, L.M., & Zhu, J. (2002). Modeling Undesirable Factors in Efficiency Evaluation. Eur. J. Oper. Res. 66: 93-102.         [ Links ]

Sigler, L. (2004). The relative of the public institutions on economics research in Mexico City. In: Emrouznejad A, Podinovski V, editors. Proceedings of DEA 2004. Birmingham, UK.         [ Links ]

SEP (2012). Guía para formular el Programa Integral de Fortalecimiento Institucional 2012-2013. http://pifi.sep.gob.mx/ScPIFI/GPIFI_2012/guia.         [ Links ]

Specht, D. (1990). Probabilistic Neural Networks. Neural Networks. 3: 109-118.         [ Links ]

Specht, D. (1991). A General Regression Neural Network. IEEE T. Neural Networks. 2: 568-576.         [ Links ]

Zhu, J. (2009). Quantitative Models for Performance Evaluation and Benchmarking. Data Envelopment Analysis with Spreadsheets. Springer.         [ Links ]