Reducing the Experiments Required to Assess the Performance of Metaheuristic

Reducción de los Experimentos Requeridos para Evaluar el Desempeño de Algoritmos Metaheurísticos

Héctor Joaquín Fraire Huacuja, Rodolfo Abraham Pazos Rangel, Juan Javier González Barbosa, Laura Cruz Reyes, Guadalupe Castilla Valdez, and José A. Martínez Flores

Instituto Tecnológico de Ciudad Madero, hfraire@prodigy.net.mx; r_pazos_r@yahoo.com.mx; jjgonzalezbarbosa@hotmail.com; lcruzreyes@prodigy.net.mx; gpe_cas@yahoo.com.mx; jmtz05@yahoo.com.mx

Abstract

When assessing experimentally the performance of metaheuristic algorithms on a set of hard instances of an NP–complete problem, the required time to carry out the experimentation can be very large. A means to reduce the needed effort is to incorporate variance reduction techniques in the computational experiments. For the incorporartion of these techniques, the traditional approaches propose methods which depend on the technique, the problem and the metaheuristic algorithm used. In this work we develop general–purpose methods, which allow incorporating techniques of variance reduction, independently of the problem and of the metaheuristic algorithm used. To validate the feasibility of the approach, a general–purpose method is described which allows incorporating the antithetic variables technique in computational experiments with randomized metaheuristic algorithms. Experimental evidence shows that the proposed method yields a variance reduction of the random outputs in 78% and that the method has the capacity of simultaneously reducing the variance of several random outputs of the algorithms tested. The overall reduction levels reached on the instances used in the test cases lie in the range from 14% to 55%.

Keywords: Experimental algorithm analysis, variance reduction techniques and metaheuristic algorithms.

Resumen

Cuando se evalúa el desempeño de algoritmos metaheurísticos, con un conjunto de instancias difíciles de un problema NP–completo, el tiempo requerido para realizar la experimentación puede ser muy grande. Una forma de reducir el esfuerzo necesario es incorporar técnicas de reducción de la varianza en los experimentos computacionales. Para incorporar dichas técnicas, los enfoques tradicionales proponen métodos que dependen de la técnica, del problema y del algoritmo usado. En este trabajo se propone desarrollar métodos de propósito general, los cuales permitan incorporar técnicas de reducción de la varianza, independientemente del problema y del algoritmo metaheurístico usado. Para validar la factibilidad del enfoque, se describe un método de propósito general, el cual permite incorporar la técnica de variables antitéticas en experimentos computacionales con algoritmos metaheurísticos aleatorizados. La evidencia experimental muestra que el método propuesto produce una reducción de la varianza de las salidas aleatorias en un 78% de las instancias consideradas y que el método tiene la capacidad de reducir simultáneamente la varianza de varias salidas aleatorias de los algoritmos probados. Los niveles globales de reducción alcanzados con las instancias usadas en los casos de prueba van del 14% al 55%.

Palabras clave: Análisis experimental de algoritmos, técnicas de reducción de la varianza y algoritmos metaheurísticos.

DESCARGAR ARTÍCULO EN FORMATO PDF

References

1. Blum, C., & Roli, A. (2003). Metaheuristics in Combinatorial Optimization: Overview and Conceptual Comparison. ACM Computing, 35 (3), 268–308.         [ Links ]

2. Brito, J., Campos, C., García, F., García, M., Melián, B. Moreno, J. & Moreno, M. (2004), Metaheuristicas: una revisión actualizada (informe técnico, no. 2/2004. España: Universidad de la Laguna, Departamento de Estadística, Investigación Operativa y Computación.         [ Links ]

3. Espriella, F. K. (2008). Optimización Mediante Algoritmos Genéticos: Aplicación a la Laminación en Caliente. Tesis de maestría, Instituto Politécnico Nacional, CICATA Unidad Altamira, Tamaulipas, México.         [ Links ]

4. Fraire, H. J. (2005). Una Metodología Para el Diseño de la Fragmentación y Ubicación en Grandes Bases de Datos Distribuidas. Tesis doctoral, CENIDET, Cuernavaca, Morelos, México.         [ Links ]

5. Fraire, H. J., Castilla, V. G., Hernández, R. A., Aguilar, L. S., Castillo, V. G., and Camacho, A. C. (2006). Reducción de la varianza en la evaluación experimental de algoritmos metaheurísticos. Proceedings 13^th International Congress on Computer Science Research CIICC06. Tampico, Tamaulipas, México, 14–22.         [ Links ]

6. Garey, M.R., and Johnson, D.S. (1979). Computer and intractability: a Guide to the Theory of NP–Completeness. New York: WH Freeman.         [ Links ]

7. Glover, F. (1986). Future Paths for Integer Programming and Links to Artificial Intelligence. Computers and Operations Research, 13, 533–549.         [ Links ]

8. Glover, F., Laguna, M. (1997). Tabu Search. Boston, MA, USA: Kluwer Academic Publishers.         [ Links ]

9. González–Velarde, J.L. (1996). GRASP. In A. Díaz, (ed.) Heuristic Optimization and Neural Networks in Operations Management and Engineering. (143–161). Madrid: Editorial Paraninfo.         [ Links ]

10. Johnson, D.S. (2002). Theoretician's Guide to the Experimental Analysis of Algorithms. In Goldwasser, M. H., Johnson, D. S., & McGeoch C. C. (eds.); Data Structures, Near Neighbor Searches, and Methodology: Proceedings of the Fifth and Sixth DIMACS Implementation Challenges, Providence, RI, USA, 59, 215–250.         [ Links ]

11. McGeoch, C.C. (1992). Analyzing Algorithms by Simulation: Variance Reduction Techniques and Simulation Speedups. ACM Computer Survey. 24 (2), 195–212.         [ Links ]

12. McGeoch. C.C. (2002), Experimental Analysis of Algorithms. In: Pardalos, P.M. & Romeijn, H.E. (eds.); Handbook of Global Optimization, 2 (489513), Gainesville, FL, USA: University of Florida.         [ Links ]

13. Pérez, J. (1999). Integración de la Fragmentación Vertical y Ubicación en el Diseño Adaptivo de Bases de Datos Distribuidas. Tesis doctoral, ITESM Cuernavaca, México.         [ Links ]

14. Papadimitriou, C., & Steiglitz, K. (1998). Combinatorial Optimization: Algorithms and Complexity. New York, USA: Dover Publications.         [ Links ]

15. Reeves, C. R. (1993). Modern Heuristic Techniques for Combinatorial Problems. Oxford: Blackwell Scientific Publishing.         [ Links ]

16. Romero, D., Barrón, & C., Gómez, S. (1999). The Optimal Geometry of Lennard–Jones Clusters: 148–309. Computational Physics Communications. 123 (1–3), 87–96.         [ Links ]

17. Ross, S.M. (1999). Simulación. (Segunda edición.) México: Prentice Hall.         [ Links ]

18. SATLIB. Retrieved from: http://www.satlib.org/        [ Links ]

19. Wilson, J.(1984). Variance Reduction Techniques for Digital Simulation. American Journal of Mathematical and Management Sciences. 4 (3–4), 277–312.         [ Links ]