Resumen de tesis doctoral

A Unified Methodology to Evaluate Supervised and Non–Supervised Classification Algorithms

Una Metodología Unificada para la Evaluación de Algoritmos de Clasificación tanto Supervisados como No–Supervisados

Graduated: Salvador Godoy Calderón
Centro de Investigación en Computación–IPN
Av. Juan de Dios Bátiz s/n esq. Miguel Othón Mendizábal C. P. 07738 México D. F.
sgodoyc@cic.ipn.mx
Graduated in june 19, 2006

Advisor: José Francisco Martínez Trinidad
Instituto Nacional de Astrofísica Óptica y Electrónica
Luis Enrique Erro 1, Sta. Ma. Tonantzintla, 72840 Puebla
fmartine@inaoep.mx

Co–Advisor Manuel S. Lazo–Cortes
Instituto de Cibernética, Matemáticas y Física
Ministerio de Ciencia, Tecnología y Medio Ambiente
E No. 309 esq. A 15 Vedado
Ciudad de la Habana, Cuba C. P. 10400
mlazo@icmf.inf.cu

Co–Advisor Juan Luis Díaz de León Santiago
Centro de Investigación en Computación–IPN
Av. Juan de Dios Bátiz s/n esq. Miguel Othón Mendizábal C. P. 07738 México D. F.
jdiaz@cic.ipn.mx

Abstract

There is presently no unified methodology that allows the evaluation of supervised or non–supervised classification algorithms. Supervised problems are evaluated through quality functions while non–supervised problems are evaluated through several structural indexes. In both cases a lot of useful information remains hidden or is not considered by the evaluation method, such as the quality of the sample or the structural change generated by the classification algorithm. This work proposes a unified methodology that can be used to evaluate both type of classification problems. This new methodology yields a larger amount of information to the evaluator regarding the quality of the initial sample, when it exists, and regarding the change produced by the classification algorithm in the case of non–supervised classification problems. It also offers the added possibility of making comparative evaluations with different algorithms.

Keywords: Supervised Classification, Non–Supervised Classification, Evaluation of algorithms, Methodologies.

Resumen

Actualmente no existe una metodología que permita la evaluación de algoritmos de clasificación tanto supervisados como no–supervisados. Los algoritmos aplicados a problemas supervisados se evalúan mediante funciones de calidad mientras que los algoritmos aplicados a problemas no–supervisados se evalúan mediante diversos índices estructurales. En ambos casos mucha información útil permanece oculta o no es considerada por el método de evaluación. En este trabajo se propone una metodología unificada que puede ser usada para evaluar ambos tipos de problemas de clasificación. Esta nueva metodología entrega una mayor cantidad de información al evaluador acerca de la calidad de la muestra inicial, cuando ésta existe y acerca de el cambio producido por el algoritmo de clasificación en el caso de problemas no–supervisados. También ofrece la posibilidad de realizar evaluaciones comparativas con diferentes algoritmos.

Palabras Claves: Clasificación Supervisada, Clasificación No–Supervisada, Evaluación de algoritmos, Metodologías.

DESCARGA ARTICULO EN FORMATO PDF

References

1. Pattern Recognition. Concepts, Methods and Applications Springer, Portugal, 2001.        [ Links ]

2. J. Ruiz Shulcloper, and M. A. Abidi. Logical Combinatorial Pattern Recognition: A Review. Recent Research Developments in Pattern Recognition, Pub. Transword Research Networks, USA, 2002, 133–176.        [ Links ]

3. J. Ruiz Shulcloper, Eduardo A. Cabrera, Manuel Lazo Cortés Introducción al Reconocimiento de Patrones (Enfoque Lógico–Combinatorio) CINVESTAV–IPN Serie Verde No. 51, México, 1995.        [ Links ]

4. J. F. Martínez–Trinidad, and A. Guzman–Arenas. "The logical combinatorial approach to Pattern Recognition an overview through selected works". Pattern Recognition, 34, 4, 2001, 1–11.        [ Links ]

5. J.C. Bezdek Pattern Recognition with fuzzy Objective Function Algorithms Plenum Press, NY, 1981.        [ Links ]

6. A.K. Jain, R.C. Dubes Algoritms for Clustering Prentice–Hall, Englewood Cliffs, NJ, 1998.        [ Links ]

7. A.K. Jain, M.N. Murty, P. J. Flynn "Data Clustering: a review" ACM Computing Surveys, 31(3), 1999.        [ Links ]

8. J.C. Bezdek "Numerical taxonomy with fuzzy sets" Journal of Mathematical Biology, 1, 1974.        [ Links ]

9. J.C. Bezdek "Cluster validity with fuzzy sets" Journal of Cybernetics, 3, 1974.        [ Links ]

10. X.L. Xie, G. Beni "A validity measure for fuzzy clustering" IEEE Transactions on Pattern Análisis and Machine Inteligence, 13(8), 1991.        [ Links ]

11. M. Lazo–Cortés "Models based on Testor theory for feature selection and supervised classification with non classical object descriptions" PhD. Tesis, Universidad Central de las Villas, Cuba, 1994. (In Spanish)        [ Links ]

12. S. Godoy–Calderón, M. Lazo–Cortés, J.F. Martínez–Trinidad "A non–classical view of Coverings and its implications in the formalization of Pattern Recognition problems" WSEAS Transactions on Mathematics, 2, 1–2, 2003, 60–66.        [ Links ]

13. Dae–Won Kim, Kwang H. Lee, Doheon Lee "On cluster validity index for estimation of the optimal number of fuzzy clusters" Pattern Recognition 37, 2004.        [ Links ]

14. H. Lee–Kwang, Y.S. Song, K.M. Lee "Similarity measure between fuzzy sets and between elements" Fuzzy Sets and Systems 62, 1994.        [ Links ]