Semantic Cohesion for Image Annotation and Retrieval

Cohesión semántica para la anotación y recuperación de imágenes

Hugo Jair Escalante, Luis Enrique Sucar, and Manuel Montes-y-Gómez

Coordinación de Ciencias Computacionales, Instituto Nacional de Astrofísica, Óptica y Electrónica, Tonantzintla, Puebla, 72840, Mexico. Correo: hugojair@inaoep.mx, esucar@inaoep.mx, mmontesg@inaoep.mx.

Article received on 02/06/2010.
Accepted on 12/01/2012.

Abstract

We present methods for image annotation and retrieval based on semantic cohesion among terms. On the one hand, we propose a region labeling technique that assigns an image the label that maximizes an estimate of semantic cohesion among candidate labels associated to regions in segmented images. On the other hand, we propose document representation techniques based on semantic cohesion among multimodal terms that compose images. We report experimental results that show the effectiveness of the proposed techniques. Additionally, we describe an extension of a benchmark collection for evaluation of the proposed techniques.

Keywords: Automatic image annotation, region labeling, multimedia image retrieval, ground truth data creation.

Resumen

Presentamos métodos para la anotación y recuperación de imágenes que se basan en la cohesión semántica entre términos. Por un lado, proponemos una técnica para etiquetar regiones que asigna a cada imagen el conjunto de etiquetas que maximiza un estimado de la cohesión semántica entre estas. Por otro lado, proponemos métodos para representar imágenes anotadas que se basan en la cohesión semántica entre términos multimodales que aparecen en las imágenes. Reportamos resultados experimentales que muestran la efectividad de las técnicas propuestas. Adicionalmente, describimos la extensión que realizamos a una colección estándar para la evaluación de los métodos propuestos.

DESCARGAR ARTÍCULO EN FORMATO PDF

Acknowledgements

We are grateful to Nando de Freitas, Aurelio López, Eduardo Morales, J. Francisco Trinidad, and Luis Villaseñor for their valuable comments which helped us to improve our work. Also, we thank the TIA research group at INAOE. This work was supported by CONACyT under Project Grant No. 61335 and Scholarship No. 205834.

References

1. Barnard, K., Duygulu, P., Forsyth, D., de Freitas, N., Blei, D.M., & Jordan, M.I. (2003). Matching words and pictures. The Journal of Machine Learning Research, 3, 1107-1135.         [ Links ]

2. Datta, R., Joshi, D., Li, J., & Wang, J.Z. (2008). Image retrieval: Ideas, influences, and trends of the new age. ACM Computing Surveys, 40(2), Article 5.         [ Links ]

3. Escalante, H.J. (2010). Cohesión semántica para la anotación y recuperación de imágenes. Tesis de Doctorado, Instituto Nacional de Astrofísica, Óptica y Electrónica, Puebla, México.         [ Links ]

4. Escalante, H.J., Hernández, C.A., González, J.A., López-López, A., Montes, M., Morales, E.F., Sucar, L.E., Villaseñor, L., & Grubinger, M. (2010). The segmented and annotated IAPR TC-12 benchmark. Computer Vision and Image Understanding, 114(4), 419-428.         [ Links ]

5. Escalante, H.J., Montes, M., & Sucar, L.E. (2007). Word co-occurrence and Markov random fields for improving automatic image annotation. Proceedings of the 18th British Machine Vision Conference, Warwick, UK, 2, 600-609.         [ Links ]

6. Escalante, H.J., Montes-y-Gómez, M., & Sucar, L.E. (2011). An energy-based model for region-labeling. Computer Vision and Image Understanding, 115(6), 787-803.         [ Links ]

7. Escalante, H.J., Montes, M., & Sucar, E. (2011). Multimodal indexing based on Semantic cohesion for image retrieval. Information Retrieval, DOI: 10.1007/s10791-011-9170-z.         [ Links ]

8. Grubinger, M. (2007) Analysis and Evaluation of Visual Information Systems Performance. PhD thesis, Victoria University, Melbourne, Australia.         [ Links ]

9. Lavelli, A., Sebastiani, F., & Zanoli, R. (2004). Distributional term representations: an experimental comparison. Thirteenth ACM International Conference of Information and Knowledge Management (CIKM '04), Washington D.C., U.S.A, 615-624.         [ Links ]

Note

Extended abstract of PhD thesis. Graduated: Hugo Jair Escalante. Advisors: Luis Enrique Sucar and Manuel Montes-y-Gómez. Graduation date: 25/03/2010.