1. Introducción

Los problemas de clasificación están cobrando particular importancia en la actualidad puesto que en muchos casos se requiere agrupar elementos que presenten un conjunto de características específicas. Existen varios modelos de clasificación reportados en la literatura, por ejemplo: los basados en redes neuronales, en redes bayesianas, los árboles de clasificación, la regresión logística y el análisis discriminante, por solo mencionar algunos.

En la actualidad existen campos multidisciplinarios como la Bioinformática, con problemas grandes y muy complejos, que no se logran solucionar de forma satisfactoria con el uso de un solo clasificador. Con frecuencia ocurre que la precisión, exactitud o la característica que se desee medir, de un único clasificador no satisface los requerimientos del problema. Esa es la razón principal que ha conllevado al auge en el uso conjunto de sistemas compuestos por varios clasificadores para tratar de alcanzar resultados superiores a los de un único clasificador.

En investigaciones recientes muchos autores introducen el término multi-clasificador como un "clasificador" que combina las salidas de un conjunto de clasificadores individuales, utilizando algún criterio (ej.; promedio, voto mayoritario, mínimo, etc.). Los sistemas multi-clasificadores logran satisfacer muchas veces la necesidad de desarrollar clasificadores exactos, precisos y confiables para muchas aplicaciones prácticas.

Se han reportado numerosos artículos que los han utilizado con éxito en la solución de problemas reales ¹.

La idea inicial para mezclar conjuntos de clasificadores es muy sencilla. Ella parte del hecho de combinar respuestas que se complementen unas con otras. Los clasificadores que deben combinarse no son los más precisos o los más exactos, sino los más diversos. Una muestra mal clasificada por uno o varios clasificadores puede estar correctamente clasificada por otro u otros ². Mezclar un grupo de clasificadores idénticos no producirá mejores resultados que uno solo de ellos. La idea es entonces combinar un grupo de clasificadores diversos entre sí, para garantizar que al menos uno de ellos brinde la respuesta correcta cuando el resto esté equivocado. Por tal razón resulta sumamente importante estudiar la diversidad entre los clasificadores bases a combinar. Existen numerosas fórmulas estadísticas reportadas en la literatura, conocidas como "medidas de diversidad". Comprenderlas para cuantificar la diversidad existente en un conjunto de clasificadores es un aspecto imprescindible en la combinación de clasificadores.

Por otro lado, la cantidad de clasificadores existentes en la actualidad hacen muy difícil escoger cuáles combinar pues la cantidad de combinaciones posibles es un número muy alto por tanto surge la idea de usar una meta heurística que nos ayude a resolver el problema combinatorio. Algunas de las metas heurísticas existentes son: Optimización basada en Colonias de Hormigas (ACO por las siglas en inglés Ant Colony Optimization), Optimización basada en Colonias de Abejas (ABC por Artificial Bee Colony) y Algoritmos Genéticos (GA por Genetic Algorithms) ^{3, 4, 5, 6}.

Estos últimos se destacan por ser ampliamente usados en una gran variedad de aplicaciones y técnicas de modelación u optimización, pues ellos son una de las meta heurísticas más sencillas ⁷. Están inspirados en la evolución biológica y su base genético-molecular. Este tipo de algoritmo hace evolucionar una población de individuos sometiéndola a acciones aleatorias semejantes a las que actúan en la evolución biológica (mutaciones y cruzamientos), así como también a una selección de acuerdo a algún criterio, en función del cual se decide cuáles son los individuos más adaptados y cuáles no ⁸. Las soluciones que se encuentran en cada generación se evalúan según su calidad y las mejores de ellas se almacenan para la próxima generación. Esta forma de guardar estas soluciones puede ser determinista, eligiendo siempre las mejores k soluciones, o aleatoria eligiendo las soluciones según un valor probabilístico asociado ⁹.

La meta heurística ofrece la posibilidad de no tener que explorar todo el espacio de búsqueda de las "posible soluciones". Los algoritmos genéticos, como una meta heurística de mejora, permiten partir de un conjunto de soluciones iniciales; sobre las cuales se aplican iterativamente determinados operadores con el objetivo de modificarlas y obtener como resultado final un óptimo, que si bien puede no ser el global, que sea lo suficientemente cercano a él.

A continuación se detallan las medidas de diversidad existentes para cuantificar la diversidad en un conjunto de clasificadores, aspecto que se incluye más adelante en la modelación de la meta heurística mencionada anteriormente.

2. Medidas de diversidad

Resulta intuitivo pensar que el resultado de combinar un grupo de clasificadores idénticos no va a ser mejor que el resultado de uno solo de sus miembros. Al contrario, resultaría más conveniente si combináramos un grupo de clasificadores diferentes entre sí, dado que al menos uno de ellos debe dar la respuesta correcta cuando el resto falle. Dicha diferencia, conocida principalmente como diversidad, también se le conoce como ortogonalidad, independencia, dependencia negativa o complementariedad. A pesar de que no existe una definición formal de lo que es intuitivamente percibido como diversidad, no al menos en el vocabulario de la Ciencia de la Computación, es ampliamente aceptado por la comunidad científica el hecho de que la existencia de diversidad en un grupo de clasificadores base es una condición necesaria para la mejora del desempeño de un ensamblado de clasificadores. Un ensamblado de clasificadores diversificados conduce a errores no correlacionados, que a su vez mejoran la precisión de la clasificación. Comprender y cuantificar la diversidad que existe en un ensamblado de clasificadores es un aspecto importante en la combinación de clasificadores. En la literatura existen diferentes medidas usadas para tal propósito, cuyo objetivo es cuantificar la dependencia existente entre clasificadores ¹⁰.

En ¹⁰ se plantea que no hay una medida de diversidad involucrada en forma explícita en los métodos de generación de clasificadores, aunque asumen que la diversidad es el punto clave en cualquiera de los métodos.

Estas medidas para cuantificar la diversidad, pueden ser categorizadas en dos tipos: medidas en forma de pares (pairwise) y medidas para todo el conjunto (non pairwise) ¹⁰. A continuación se explica en qué se basan las medidas en forma de pares.

3. Combinación de varias medidas de diversidad

Para hacer posible el trabajo con más de una medida de diversidad, es necesario garantizar primero su estandarización, de forma tal que todas se ubiquen en un mismo intervalo y alcancen la mayor diversidad hacia un mismo extremo de dicho intervalo; y segundo utilizar alguna función que agrupe cada uno de estos valores en uno solo.

3.2. Agrupamiento de las medidas en un solo valor

Para combinar varias medidas de diversidad y obtener un solo valor pudieran utilizarse los operadores que se muestran en la Tabla 5.

Combinar varias medidas de diversidad puede ser un método interesante de aplicar porque puede dar una idea de cómo se comporta la diversidad teniendo en cuenta varios criterios que reflejen cuán diversos son los clasificadores individuales. La primera forma de lograr lo anterior pudiese ser calculando el promedio de las medidas de diversidad, resumiéndose en un valor que indique de forma general la diversidad contenida entre los clasificadores. Otro pudiese ser determinar el producto y el máximo de las medidas usadas. Como tal este último no es una forma de combinación pero resulta útil ya que no se sabe de antemano cuál medida es la más adecuada en términos de diversidad para el multi-clasificador y no necesariamente la misma medida tiene que ser la más diversa en todas las combinaciones de clasificadores que se formen.

El operador Fuzzy trabaja con los conceptos de conjuntos borrosos y funciones de membrecía de la teoría de la lógica difusa. En la combinación de varias medidas de diversidad, se propone la utilización de dos conjuntos borrosos definidos por los términos lingüísticos "baja diversidad" y "alta diversidad". Las funciones de pertenencia usadas fueron las triangulares ²¹.

A continuación se detalla la modelación de la meta heurística Algoritmo Genéticos para la construcción de un multi-clasificador que garantice la diversidad en el conjunto de clasificadores combinados y una mayor exactitud en la solución.

4. Modelación del problema

En muchas aplicaciones reales de la actualidad, sobre todo en el campo de la bioinformática y quimio-informática, se cuenta con grandes grupos de clasificadores individuales y es muy difícil seleccionar la mejor combinación de ellos pues mientras mayor sea la cantidad de clasificadores individuales, mayor cantidad de combinaciones se hacen posibles y por tanto se hace más difícil explorar todo el espacio de búsqueda, lo que nos conlleva a un problema combinatorio, los cuales son comúnmente resueltos mediante el uso de alguna meta heurística.

Nuestro problema consiste en lograr combinar un conjunto de clasificadores que supere la mejor exactitud individual en la clasificación y a la vez sean lo más diverso posible entre ellos.

Por tanto, lo que se quiere optimizar es la exactitud en la clasificación del conjunto de clasificadores y a la vez la diversidad existente entre dichos clasificadores, dicha diversidad puede ser cuantificada mediante las medidas de diversidad descritas en las secciones anteriores.

A continuación se muestra la función a optimizar:

donde x representa el conjunto de clasificadores y se pretende maximizar el valor de f(x) , es decir, obtener la combinación de clasificadores donde la exactitud y la diversidad sean la mayor posible.

En nuestro problema tenemos las siguientes restricciones:

4.3. La población como objeto evolutivo: elementos principales

El análisis de la población incluye varios elementos. Goldberg obtuvo en su investigación que el tamaño óptimo de una población de cadenas binarias, crece exponencialmente con la longitud de la cadena ²². Sin embargo, en diferentes resultados empíricos muchos autores sugieren tamaños de poblaciones tan pequeños como 30 individuos. La modelación que se propone utiliza el tamaño de la población igual a 2^L/₂ donde L es la cantidad de clasificadores; o sea, el tamaño del cromosoma.

La población inicial se genera usando un híbrido entre la generación aleatoria y el sembrado de individuos. Cada cromosoma se genera aleatoriamente, tomando cada gen valor 0 ó 1 en dependencia de un número r generado aleatoriamente; si r es mayor que 0.5 se incluye el clasificador representado por el i-ésimo gen; en caso contrario, no se incluye.

En experimentos realizados en ²³ se evidencia que el clasificador de mayor exactitud, era incluido en el conjunto de clasificadores usado por el multi-clasificador. Es por eso que una vez generado el cromosoma de la forma anterior, se debe obligar además a que los mejores clasificadores se incluyan en la combinación, poniendo el gen correspondiente con valor 1.

En caso de que más de la mitad de los clasificadores tengan la misma exactitud y a la vez sea la mayor solo se incluirán en la combinación la mitad del total de clasificadores que estén en esas condiciones.

Cada iteración simple del AG se inicia con una población con la cantidad especificada anteriormente. Los nuevos cromosomas generados a partir de los operadores genéticos de recombinación serán agregados a la población.

Finalmente la población será "limpiada" de aquellos cromosomas que probabilísticamente son los de menor valor en la función objetivo, hasta quedarse con el tamaño establecido. Dado que la modelación fue pensada para aplicar con cualquier cantidad de clasificadores, se restringió la posibilidad de que en la población existiesen cromosomas repetidos. Esto se debe a que en una primera versión, cuando se ejecutaba el algoritmo con pocos clasificadores y muchas iteraciones, el algoritmo tendía a estancarse a partir de determinada generación con todos los cromosomas iguales, perdiéndose la posibilidad de explorar soluciones no vistas hasta el momento.

Una vez generada la población inicial se forma una población intermedia mediante el operador de selección, y sobre esta población se aplican determinados operadores para obtener nuevos individuos y con mejor adaptabilidad expresada en términos de la función objetivo. Cada individuo es seleccionado, en dependencia de su calidad, para competir en el proceso evolutivo. A partir de estos cromosomas seleccionados, son creados nuevos cromosomas por medio del cruzamiento y la mutación, pudiéndose incluir o no en la nueva población. A continuación se explican brevemente los operadores utilizados para simular la recombinación genética y el mecanismo de selección natural.

4.4. Operador de cruzamiento

En el caso del cruzamiento, se permite seleccionar fragmentos del genotipo de cromosomas que independientes no son muy buenos pero que al mezclarlos pueden resultar en una solución mejor que la que se tenía. Según la bibliografía consultada, existen varias formas de definir este operador. En la modelación se tuvo en cuenta el operador clásico de cruzamiento en un punto y el cruzamiento uniforme ²⁴.

Si cuando concluya el proceso de recombinación genética por medio del cruzamiento, los nuevos cromosomas ya existían en la población, se fuerza a que ocurra una mutación para obtener cromosomas nuevos y diferentes.

4.5. Operador de mutación

La implementación de este operador es muy sencilla dado que solamente se tiene que intercambiar el alelo del gen que se va a mutar. Así, si en un cromosoma el quinto gen indica que ese clasificador estaba incluido en la combinación, luego de aplicar una mutación en ese locus resultaría que ese clasificador ya no se incluye en la combinación.

4.6. Operador de selección natural

En este proceso se forma una población intermedia de cromosomas sobre los cuales se aplicarán los operadores anteriores para obtener una nueva población, con cromosomas de más calidad que los existentes. Para la selección de los cromosomas que formarán parte de esta población intermedia se usa la función objetivo, la que evaluada en cada uno de los individuos determinará su selección para participar en la recombinación genética.

Una vez formada la población intermedia, se aplican los operadores de mutación y cruzamiento atendiendo a la probabilidad de que puedan ocurrir o no, y los cromosomas resultantes se agregan a la población original. Teniendo en cuenta las características del problema que se quiere solucionar el proceso de selección se divide o ejecuta en dos momentos; antes de efectuar la recombinación y después de haberla aplicado. La primera se hace con el objetivo de que solo los mejores individuos sean los que se reproduzcan y la segunda es debida a que los individuos nuevos, dentro de la población original, pueden o no tener las capacidades adaptativas para sobrevivir a la próxima generación y por tanto, algunos de ellos son desechados.

En la primera selección se toman los cromosomas de mayor valor en la función objetivo de la población inicial y en la segunda selección se aplica el método de la ruleta sobre la población aumentada con los cromosomas resultantes de aplicar la recombinación genética; de forma que se reduzca su tamaño al tamaño especificado en el sub-epígrafe 4.3, no permitiéndose en este caso la selección de un mismo cromosoma más de una vez. Más información sobre el método de la ruleta puede encontrarse en ²⁵.

5. Experimentos y resultados

A continuación se muestra cómo, utilizando la modelación de AG propuesta para construir un multi-clasificador, se hace un estudio del resultado de las medidas de diversidad, de los operadores que se proponen para combinarlas y de su valor predictivo en la construcción de un sistema multi-clasificador.

Los resultados principales, con respecto a los operadores que se proponen para combinar las medidas se resumen en la Tabla 9, mientras que analizando el comportamiento individual de las medidas se destacaron las medidas DF y DIF por encima de las demás.

Para evaluar el comportamiento de las combinaciones de medidas de diversidad que se proponen se decide aplicar un experimento en el que se estudia la correlación existente entre todas las combinaciones posibles de un conjunto de medidas y las combinaciones posibles de un conjunto de clasificadores, definido en la Tabla 6.

Dichos modelos de clasificación fueron tomados todos del WEKA¹, al igual que el multi-clasificador usado fue el "Vote" también tomado desde esta plataforma.

Además se seleccionaron todas las medidas de diversidad implementadas y enunciadas anteriormente, las reglas de combinaciones utilizadas fueron: promedio, máximo y producto de los valores de diversidad y el operador Fuzzy.

Se utilizaron nueve bases de datos del Repositorio de Aprendizaje Automático de la Universidad de California, Irvine-UCIML², ver Tabla 7.

Como puede apreciarse las bases son diferentes entre sí: dos tienen rasgos numéricos, otras tres tienen rasgos nominales y cuatro presentan combinación de ellos. Todas tienen dos clases. La cantidad de casos varía también en las bases de datos, desde bases con 132 casos hasta bases con 1000 casos. Todas son bases binarias.

En total se calcularon 16369 combinaciones de medidas en 57 combinaciones de clasificadores por cada una de las 10 bases. Una vez obtenido todos los datos necesarios, se determinó el máximo y el mínimo de las correlaciones en cada base utilizada y en cada combinación de medida.

Luego de haber determinado el coeficiente de correlación de Pearson para cada una de las combinaciones de medidas de diversidad y con cada combinación de clasificadores del conjunto definido en la Tabla 6, se determinó el máximo y el mínimo de estos en cada base por cada regla de combinación.

La Tabla 8 muestra un análisis descriptivo aplicado a estos resultados. Según los valores de la desviación estándar, las combinaciones Promedio, Producto y Máximo de los valores de diversidad, estuvieron más dispersos en su intervalo; mientras que el operador Fuzzy mostró pequeños valores en ese sentido, significando que las correlaciones determinadas en este operador estuvieron muy cercanas a la media aritmética. Si tenemos en cuenta que en este operador el valor de la media fue de 0.717 y -0.752 en las correlaciones positivas y negativas respectivamente, entonces se puede decir que con el operador Fuzzy se obtienen valores de diversidad que demuestran una buena correlación tanto positiva como negativa con respecto a la exactitud del multi- clasificador.

Sin embargo, sería bueno determinar cuáles de las medidas de diversidad son las más factibles de usar para obtener los resultados anteriores. Utilizando el Promedio como la regla de combinación de los valores de diversidad se determinó que en seis, de las 9 bases de casos, la máxima correlación positiva se obtenía combinando las medidas DF (doble fallo) y DIF (medida de dificultad) obteniéndose una media 0.672 en los valores resultantes de aplicar este operador y con una desviación estándar de 0.255.

Algo parecido sucedía en la combinación de las medidas DIF y VAR (medida de variabilidad). Se determinó además, que en cuatro de las bases si DF se combinaba con E (Entropía) se obtenía que mientras aumentaba la diversidad disminuía la exactitud del multi-clasificador (correlación negativa). En menor medida sucedía lo mismo combinando E y KW (Kohavi-Wolpert).

Utilizando el Producto de los valores de diversidad se encontró que en siete de las bases mientras aumentaba la diversidad aumentaba la exactitud del sistema multi-clasificador usando las medidas DIF y DF, obteniéndose valores con una media de 0.629 en los valores resultantes de aplicar este operador y una desviación estándar de 0.265. Además, se obtuvo en algunos casos que al igual que la regla de combinación anterior la utilización de DIF y VAR tienen una correlación positiva con la exactitud. En cuanto a la correlación negativa, en tres de las bases la utilización de las medidas E y DF producen valores bajos en la correlación, al igual que la utilización de DIF y E.

Calculando el Máximo de los valores de diversidad, se obtuvo que en ocho de las bases la medida DIF fue la que aportó más diversidad al multi-clasificador en cualquier combinación que se probara, siempre que DF no estuviera presente, no sucediendo lo contrario cuando DF se incluía. La dispersión de los valores de correlación fue de 0.243 con respecto a una media aritmética de 0.588. A pesar de ello la máxima correlación (0.848) fue obtenida en la base Echocard usando DF en cualquier combinación de GD (diversidad generalizada), CFD (diversidad de coincidencia de fallos), DFD (diversidad de distintos fallos), VAR y OD (diversidad global) o en cualquier combinación de k (desacuerdo entre expertos), KW, D (medida de diferencias), Q (estadístico q) y E. En relación a la correlación negativa no hubo una combinación de medidas que destacara por encima de otras. Solo decir que las medidas que más se incluían en las combinaciones de mayor correlación negativa con la exactitud fueron KW (aparecía en todas las bases), Q y D.

Por último, con el operador Fuzzy no se obtuvo ninguna combinación común en las bases que indicara una correlación positiva. No obstante, teniendo en cuenta las características vistas con los estadísticos descriptivos, las combinaciones de medidas que fueron aplicadas con este operador, por lo general, establecen una buena correlación positiva.

Además, en dichas combinaciones había una fuerte presencia de las medidas en forma de pares.

Igual situación ocurre en la correlación negativa, ya que no fue precisa la existencia de una combinación de medidas que determinara una correlación negativa.

No obstante, en tres de las bases se obtuvo una correlación media de -0.76 usando las medidas DIF y DF. Al contrario de la correlación positiva, en este caso muchas de las medidas que se encontraban en las combinaciones eran medidas grupales y si había alguna pareada era DIF o Q.

Se muestra la Tabla 9 con los principales resultados vistos anteriormente, donde Sol representa el conjunto de medidas combinadas.

5.1. Comportamiento individual de las medidas de diversidad

En el mismo se observó la prevalencia de algunas medidas como DIF, KW y DF.

Es por eso que se decide diseñar un experimento en el que se calculan todas las medidas de diversidad para todas las combinaciones de clasificadores de los conjuntos definidos en la Tabla 10 y la Tabla 11, donde los mejores resultados se encontraron con la medida pareada DF y la medida no pareada DIF, lo cual se corrobora con las figuras mostradas más adelante en este epígrafe.

Fig. 1 Medida Coeficiente de correlación 

Fig. 2 Medida Estadístico Q 

Fig. 3 Medida de Diferencias 

Fig. 4 Medida de Doble fallo 

Fig. 5 Medida de entropía 

Fig. 6 Medida de Kohavi-Wolpert 

Fig. 7 Medida de desacuerdo entre expertos 

Fig. 8 Medida de Dificultad 

Fig. 9 Medida de Diversidad Generalizada 

Fig. 10 Medida de Diversidad de coincidencia de fallos 

Fig. 11 Medida de Diversidad de distintos 

Fig. 12 Medida de Variabilidad s 

Fig. 13 Medida de Diversidad global 

Dichas medidas fueron calculadas a partir de los resultados de la clasificación hecha en las bases Breast-C Wisconsin, Echocard y German Credit, por ser estas bases ejemplos extremos de los resultados obtenidos; es decir, en Breast-C Wisconsin nunca se obtuvo un multi-clasificador cuya exactitud superase la exactitud individual, en Echocard no se obtienen mejoras en el conjunto de seis clasificadores (ver Tabla 6) pero al aumentar a 12 y 18 clasificadores sí se encuentran mejoras y en German Credit se encuentran buenas soluciones en cualquiera de estos conjuntos sin coincidir entre sí.

El análisis fue establecido utilizando los gráficos de Máximos-Mínimos-Cierre el cual resulta útil para mostrar el intervalo de una variable comprendido entre dos valores. En este tipo de gráficos se usa una barra de rangos que es dibujada entre los valores máximos y mínimos de una variable. Adicionalmente, se puede especificar dibujar el cierre que normalmente es determinado con una medida de tendencia central. En nuestro caso se usó la media de los valores de la variable.

Se estudió el comportamiento de las medidas de diversidad en cada una de las bases según la cantidad de clasificadores. Los resultados de todas las medidas se muestran en las siguientes figuras mostradas.

Se puede observar en las figuras como tendencia que en las tres bases mencionadas anteriormente no se obtienen muy buenos valores de diversidad excepto en las medidas DF y DIF.

En las tres bases, mientras aumenta el número de clasificadores el rango en el que se mueven los valores de diversidad se reduce y en la mayoría de las medidas disminuye su media. Excepto en las medidas DF, DIF y VAR, se observó lo anterior. Esto puede deberse a que según aumenta el número de clasificadores, la formulación matemática de cada medida conduce a valores más pequeños, lo cual requiere de un estudio más preciso de las particularidades matemáticas de dichas medidas.

En el caso de las dos últimas bases la diversidad mantuvo el mismo comportamiento; es decir, en todas era menor o viceversa.

En el caso de la base Breast-C Wisconsin los resultados fueron heterogéneos pues en la mayoría de las medidas se obtienen valores muy pequeños de diversidad en intervalos donde el valor de la media desciende mientras que se obtiene en medidas como DF y DIF que la diversidad sobrepasaba a 0.9 y los valores presentan una desviación estándar cerca de 0.0017; sin embargo en otras medidas como CFD, DFD y OD la media de los valores de diversidad ascendió y el rango en el que se movieron dichos valores fue un poco mayor. No obstante, a pesar de esto no fue posible encontrar una combinación de clasificadores que mejorara la mejor exactitud individual utilizando esta base, donde también influye que la mejor exactitud individual obtenida en ella por un solo clasificador fue del 98 %, lo cual constituye un valor suficientemente bueno y alto para ser mejorado.

6. Conclusiones

Se presentan en este trabajo las medidas de diversidad existentes para conocer la diversidad en un conjunto de clasificadores, además se muestra la modelación de la meta heurística Algoritmos Genéticos para construir sistemas multi-clasificadores que garanticen diversidad en el conjunto de clasificadores y una mayor exactitud en la solución. También se exponen dos experimentos en los que se analiza el comportamiento individual de las medidas de diversidad y su combinación con alguna regla de las que se proponen.

En esto último, el operador Fuzzy resultó ser el que aporta valores de diversidad altamente correlacionados con la exactitud del multi-clasificador.

Se destacan además, algunas medidas que reinciden en algunas combinaciones cuando se utilizó el promedio o el producto de los valores de diversidad. De igual forma dichas medidas presentaron altos valores de diversidad cuando se analizaron individualmente.

Sin embargo, en algunas bases de casos el comportamiento de las medidas de diversidad no es el mismo.