Fusion de multi-modalités et réduction par sémantique latente Application à la recherche de documents multimédia et à l'annotation automatique d'images

Trong-Ton Pham (1) , Jean-Pierre Chevallet (1) , Joo-Hwee Lim (2, 3)

1 MRIM - Modélisation et Recherche d’Information Multimédia [Grenoble]
2 Institute for Infocomm Research - I²R [Singapore]
3 IPAL - Image & Pervasive Access Lab

Ce papier étudie la "sémantique latente" entre des éléments visuels et textuels d'une collection multimédia, appliquée à deux tâches : (1) la Recherche de Document Multimédia (RDM) contenant des images et du texte ; et (2) l'Annotation Automatique d'Images (AAI). La sémantique latente, habituellement utilisée dans l'indexation textuelle, est mise à profit ici pour faire apparaître des liens entre les descriptions textuelles et visuelles des images. Nous avons ainsi deux contributions principales. Il s'agit d'une part, de la première étude sur l'influence de la sémantique latente entre termes textuels et visuels, sur une grande collection de documents. En effet, cette méthode est testée sur une collection de 20000 images touristiques. D'autre part, nous démontrons que la fusion des différents modalités d'image (i.e. termes visuels vs textuels, et différentes méthode de représentations d'image) améliore le résultat d'une annotation au- tomatique des images par du texte. Nos collections de test sont la base d'images annotées de COREL et la base d'Image CLEF 2006.

Domaines: Recherche d'information [cs.IR]

Trong-Ton Pham, Jean-Pierre Chevallet, Joo-Hwee Lim. Fusion de multi-modalités et réduction par sémantique latente Application à la recherche de documents multimédia et à l'annotation automatique d'images. CORIA, 2008, Tregastel, France. ⟨hal-00954029⟩