Perception strategies for reconstruction and exploration of static scenes
Stratégies de perception par vision active pour la reconstruction et l'exploration de scènes statiques
Résumé
This thesis deals with the 3D structure estimation and exploration of static scenes using active vision. Our method is based on a structure from controlled motion approach which consists in constraining the camera motion in order to obtain a precise and robust estimation of the 3D structure of a geometrical primitive such as segments and cylinders. To this continuous aspect of the reconstruction process, it is necessary to define perception strategies to ensure the complete reconstruction and exploration of the scene, assumed to be composed of segments, polyhedrons and cylinders. This scene reconstruction level is essentially events/datas driven. Since this approach involves to gaze on the considered primitive, we present a method for connecting up many estimations in order to recover the complete spatial structure of scenes composed of cylinders and segments. We have developed perceptual strategies able to perform a succession of robust estimations without any assumption on the number and on the localization of the different objects. The first step of our exploration process, which includes the 3D reconstruction of a primitive, allows an incremental reconstruction of all the objects observed by the camera. We call this step local exploration due to the fact that it uses only local available informations. It is based on a prediction/verification scheme managed using Bayesian networks. This approach allows to obtain a high level representation of the considered objects, while taking into account local occlusion problems. However, when all the observed primitives have been reconstructed, a different strategy must be developed in order to ensure the completeness of the reconstruction. A global exploration process, centered on current visual features and on the structure of the previously studied primitives, is presented. This leads to a gaze planning strategy that mainly uses a representation of known and unknown areas as a basis for selecting viewpoints. Finally, the proposed algorithms have been specified and implemented using the synchronous language \signal. It allows to consider in an unified framework the various aspects of the application: from data-flow task specification (\signal) to multi-tasking and hierarchical task preemption (\signalgti). Experiments have been carried out on the Irisa robotic cell and have proved the validity of our approach.
Ce travail apporte sa contribution au problème de la reconstruction et de l'exploration de scènes dans un contexte de vision active. À la base du processus de reconstruction, nous avons choisi une méthode qui consiste à contraindre les mouvements de la caméra de manière à obtenir une estimation précise et robuste de primitives géométriques paramétrables telles que les segments et les cylindres. À cet aspect {\em continu} du processus de reconstruction que constitue l'estimation des paramètres des primitives, il est nécessaire de définir des stratégies de reconstruction et d'exploration de la scène que l'on supposera composée de segments, polyèdres et cylindres. Cette reconstruction est de caractère {\em événementiel} et est pilotée par la découverte de nouvelles primitives dans l'image. L'approche que nous avons définie consiste à sélectionner automatiquement les informations images pertinentes puis à focaliser successivement la caméra sur les différentes primitives de la scène afin de les reconnaître et ensuite de les reconstruire. La première étape de l'exploration, qui inclut la reconstruction 3D, permet de reconstruire de manière incrémentale l'ensemble des primitives qui apparaissent dans le champ de vision de la caméra. Nous avons appelé cette phase {exploration locale car elle ne fait appel qu'à des informations disponibles localement. Elle repose sur une approche de prédiction~/~vérification d'hypothèses gérées à l'aide de réseaux Bayesiens. Cette approche permet d'obtenir une représentation de plus haut niveau des objets considérés tout en traitant les problèmes locaux d'occlusion. Par contre, quand toutes les primitives précédemment observées ont été reconstruites, une stratégie différente doit été mise en oeuvre afin de focaliser la caméra sur des zones de la scène n'ayant pas encore été observées. Cette étape d'exploration globale permet d'assurer la complétude de la reconstruction. Cette méthode repose sur l'optimisation par ICM multi-échelle d'une fonction de coût adéquatement modélisée qui prend en compte les obstacles de la scène. Finalement, les algorithmes développés ont été spécifiés et mis en \oe uvre par le langage synchrone \signal\ permettant de l'intégration au sein du même formalisme, \signal\ et \signalgti, de la dualité continu / événementiel inhérente à ce type d'algorithme. Les méthodes que nous avons développées ont été mises en oeuvre sur la cellule de vision robotique de l' Irisa. Elles permettent de reconstruire en temps réel de façon précise, robuste, complète et totalement autonome, un environnement 3D composé de plusieurs primitives.