Interactive morphological segmentation for video mining

Segmentation morphologique interactive pour la fouille de séquences vidéo

Jonathan Weber (1, 2)

1 LSIIT - Laboratoire des Sciences de l'Image, de l'Informatique et de la Télédétection
2 QGAR - Querying Graphics through Analysis and Recognition

Today, we observe an expansion of the amount of available video data. Efficient use of this data mass requires to be able to extract information from it. In this thesis, we propose to use data mining methods and apply them on video-objects of interest, in order to bridge the semantic gap by involving the user in the process. The extraction of such video-objects from pixels implies the handling of large data volume. This leads to expensive computing (in terms of computation time and memory) which is not compatible with an interactive user involvement. Thus, we propose to apply the interactive segmentation process on a data reduction, the quasi-flat zones. Quasi-flat zones are only defined for still images, so we propose an extension of the quasi-flat zones to video data and a new filtering method. The segmentation is performed interactively by the user which has to draw markers on the objects of interest, in order to guide the merging of the quasi-flat zones which compose these objects. This process is performed on a region adjacency graph which contains spatiotemporal quasi-flat zones as nodes and their spatiotemporal adjacency relations as edges. The use of such structure provides a low computation cost. Obtained video objects are then used in an interactive mining process guided by descriptors automatically extracted from the video and information given by the user. The high interactivity with the user, both at the segmentation step and at the mining step promotes synergy between digital data and human interpretation.

Nous observons actuellement une augmentation importante du volume de données vidéo disponibles. L'utilisation efficace de cette masse de données nécessite d'en extraire de l'information. Dans cette thèse, nous proposons d'utiliser les méthodes de fouille de données et de les appliquer sur les objets-vidéo d'intérêt afin de combler le fossé sémantique en impliquant l'utilisateur dans le processus. Extraire ces objets à partir des pixels nécessite de manipuler un grand volume de données, induisant un traitement coûteux (en temps et en mémoire) peu compatible avec une implication interactive de l'utilisateur. Ainsi, nous proposons d'appliquer le processus interactif de segmentation sur une réduction des données, les zones quasi-plates. N'étant définies que pour les images fixes, nous proposons une extension des zones quasi-plates aux séquences vidéo ainsi qu'une nouvelle méthode de filtrage. La segmentation est effectuée interactivement par l'utilisateur qui dessine des marqueurs sur les objets d'intérêt afin de guider la fusion des zones quasi-plates composant ces objets. Elle est effectuée sur un graphe d'adjacence de régions représentant les zones quasi-plates spatiotemporelles ainsi que leurs relations d'adjacence. L'utilisation de cette structure assure un faible temps de calcul. Les objets-vidéo obtenus sont ensuite utilisés dans un processus de fouille interactif guidé par des descripteurs extraits automatiquement de la video et des informations données par l'utilisateur. La forte interactivité avec l'utilisateur, à la fois lors de l'étape de segmentation puis lors de l'étape de fouille favorise la synergie entre données numériques et interprétation humaine.

Mots clés: Video segmentation; quasi-flat zones; mathematical morphology; interactive segmentation; video mining; filtering; video-object

Mots clés: Segmentation vidéo; zones quasi-plates; morphologie mathématique; segmentation interactive; fouille de données vidéo; filtrage; objet-vidéo

Domaines: Traitement des images [eess.IV]

Jonathan Weber. Segmentation morphologique interactive pour la fouille de séquences vidéo. Traitement des images [eess.IV]. Université de Strasbourg, 2011. Français. ⟨NNT : ⟩. ⟨tel-00643585⟩