A Unified Methodology to Evaluate Supervised and Non–Supervised Classification Algorithms
Una Metodología Unificada para la Evaluación de Algoritmos de Clasificación tanto Supervisados como No–Supervisados
Graduated: Salvador Godoy Calderón
Centro de Investigación en Computación–IPN
Av. Juan de Dios Bátiz s/n esq. Miguel Othón Mendizábal C. P. 07738 México D. F.
sgodoyc@cic.ipn.mx ]]>
Graduated in june 19, 2006
Advisor: José Francisco Martínez Trinidad
Instituto Nacional de Astrofísica Óptica y Electrónica
Luis Enrique Erro 1, Sta. Ma. Tonantzintla, 72840 Puebla
fmartine@inaoep.mx
Co–Advisor Manuel S. Lazo–Cortes
Instituto de Cibernética, Matemáticas y Física
Ministerio de Ciencia, Tecnología y Medio Ambiente
E No. 309 esq. A 15 Vedado
Ciudad de la Habana, Cuba C. P. 10400 ]]>
mlazo@icmf.inf.cu
Co–Advisor Juan Luis Díaz de León Santiago
Centro de Investigación en Computación–IPN
Av. Juan de Dios Bátiz s/n esq. Miguel Othón Mendizábal C. P. 07738 México D. F.
jdiaz@cic.ipn.mx
Abstract
There is presently no unified methodology that allows the evaluation of supervised or non–supervised classification algorithms. Supervised problems are evaluated through quality functions while non–supervised problems are evaluated through several structural indexes. In both cases a lot of useful information remains hidden or is not considered by the evaluation method, such as the quality of the sample or the structural change generated by the classification algorithm. This work proposes a unified methodology that can be used to evaluate both type of classification problems. This new methodology yields a larger amount of information to the evaluator regarding the quality of the initial sample, when it exists, and regarding the change produced by the classification algorithm in the case of non–supervised classification problems. It also offers the added possibility of making comparative evaluations with different algorithms.
Keywords: Supervised Classification, Non–Supervised Classification, Evaluation of algorithms, Methodologies.
]]> Resumen
Actualmente no existe una metodología que permita la evaluación de algoritmos de clasificación tanto supervisados como no–supervisados. Los algoritmos aplicados a problemas supervisados se evalúan mediante funciones de calidad mientras que los algoritmos aplicados a problemas no–supervisados se evalúan mediante diversos índices estructurales. En ambos casos mucha información útil permanece oculta o no es considerada por el método de evaluación. En este trabajo se propone una metodología unificada que puede ser usada para evaluar ambos tipos de problemas de clasificación. Esta nueva metodología entrega una mayor cantidad de información al evaluador acerca de la calidad de la muestra inicial, cuando ésta existe y acerca de el cambio producido por el algoritmo de clasificación en el caso de problemas no–supervisados. También ofrece la posibilidad de realizar evaluaciones comparativas con diferentes algoritmos.
Palabras Claves: Clasificación Supervisada, Clasificación No–Supervisada, Evaluación de algoritmos, Metodologías.
DESCARGA ARTICULO EN FORMATO PDF
References
1. Pattern Recognition. Concepts, Methods and Applications Springer, Portugal, 2001. [ Links ]
2. J. Ruiz Shulcloper, and M. A. Abidi. Logical Combinatorial Pattern Recognition: A Review. Recent Research Developments in Pattern Recognition, Pub. Transword Research Networks, USA, 2002, 133–176. [ Links ]
3. J. Ruiz Shulcloper, Eduardo A. Cabrera, Manuel Lazo Cortés Introducción al Reconocimiento de Patrones (Enfoque Lógico–Combinatorio) CINVESTAV–IPN Serie Verde No. 51, México, 1995. [ Links ]
4. J. F. Martínez–Trinidad, and A. Guzman–Arenas. "The logical combinatorial approach to Pattern Recognition an overview through selected works". Pattern Recognition, 34, 4, 2001, 1–11. [ Links ]
5. J.C. Bezdek Pattern Recognition with fuzzy Objective Function Algorithms Plenum Press, NY, 1981. [ Links ]
6. A.K. Jain, R.C. Dubes Algoritms for Clustering Prentice–Hall, Englewood Cliffs, NJ, 1998. [ Links ]
7. A.K. Jain, M.N. Murty, P. J. Flynn "Data Clustering: a review" ACM Computing Surveys, 31(3), 1999. [ Links ]
8. J.C. Bezdek "Numerical taxonomy with fuzzy sets" Journal of Mathematical Biology, 1, 1974. [ Links ]
9. J.C. Bezdek "Cluster validity with fuzzy sets" Journal of Cybernetics, 3, 1974. [ Links ]
10. X.L. Xie, G. Beni "A validity measure for fuzzy clustering" IEEE Transactions on Pattern Análisis and Machine Inteligence, 13(8), 1991. [ Links ]
11. M. Lazo–Cortés "Models based on Testor theory for feature selection and supervised classification with non classical object descriptions" PhD. Tesis, Universidad Central de las Villas, Cuba, 1994. (In Spanish) [ Links ]
12. S. Godoy–Calderón, M. Lazo–Cortés, J.F. Martínez–Trinidad "A non–classical view of Coverings and its implications in the formalization of Pattern Recognition problems" WSEAS Transactions on Mathematics, 2, 1–2, 2003, 60–66. [ Links ]
13. Dae–Won Kim, Kwang H. Lee, Doheon Lee "On cluster validity index for estimation of the optimal number of fuzzy clusters" Pattern Recognition 37, 2004. [ Links ]
14. H. Lee–Kwang, Y.S. Song, K.M. Lee "Similarity measure between fuzzy sets and between elements" Fuzzy Sets and Systems 62, 1994. [ Links ] ]]>