Robust Localization of a vehicle in Urban Environments with a Stereo-Rig
Localisation robuste d'un véhicule en environnement urbain à partir d'un système de stéréo-vision
Résumé
The thesis deals with mobile robots in the specific context of urban environment. We want to extract the maximum of data on the motion of an uncalibrated stereo-rig embedded in a vehicle with in a structured environment. The aim of this study is to estimate the motion of a vehicle when the localization is impossible with a satellite position system due to the occlusion of the free space.
A polyhedrical model of the streets, which is the considered environment in this study, allows the segmentation of three main planes : the road and the vertical façades which represent the frontier of the navigation area. We assume that the white lanes which split the differents ways and the kerbs which delimit the road are all parallel in the scene, at least on the foreground. Therefore the detection of these induced edges in image is easy because they all converge in a dominant vanishing point.
The lighting conditions and the dynamical obstacles which occlude the vision field make the tracking task of the segmented planes difficult. The use of a stereo-vision system allows the segmentation in image of the coplanar area of the scene assuming that each plane induces a homography between both images of the stereo-rig. The vehicle motion is assumed to be plane, the pan and tilt rotation motions have low contributions on the computed homographies. We hence possess a reliable tool to segment the main planes which structure the environment.
The motion of the cameras between two poses are obtained with the homography induced by the relative motion of one plane. The homography computation requires the matching of features (lines, points) detected in the coplanar regions of images. The precision and the reliability of the result highly depends on the spatial distribution of the matched features.
The introduction of the notion of super-homography improves the robustness of the homography computation by computing in one shot all the homographies induced by the same plane in several images. The redundancy of the constraints imposed by the relative motion of the matched coplanar features increases the constraints of the plane projection in each image. The super-homography has two advantages: it allows the detection of mismatched features and supplies coordinates with a sub-pixellic precision. When the calibration of the stereo-rig is available, the extraction of the homography induced by the relative motion of a camera from the super-homography supplies the trajectory of the vehicle.
A polyhedrical model of the streets, which is the considered environment in this study, allows the segmentation of three main planes : the road and the vertical façades which represent the frontier of the navigation area. We assume that the white lanes which split the differents ways and the kerbs which delimit the road are all parallel in the scene, at least on the foreground. Therefore the detection of these induced edges in image is easy because they all converge in a dominant vanishing point.
The lighting conditions and the dynamical obstacles which occlude the vision field make the tracking task of the segmented planes difficult. The use of a stereo-vision system allows the segmentation in image of the coplanar area of the scene assuming that each plane induces a homography between both images of the stereo-rig. The vehicle motion is assumed to be plane, the pan and tilt rotation motions have low contributions on the computed homographies. We hence possess a reliable tool to segment the main planes which structure the environment.
The motion of the cameras between two poses are obtained with the homography induced by the relative motion of one plane. The homography computation requires the matching of features (lines, points) detected in the coplanar regions of images. The precision and the reliability of the result highly depends on the spatial distribution of the matched features.
The introduction of the notion of super-homography improves the robustness of the homography computation by computing in one shot all the homographies induced by the same plane in several images. The redundancy of the constraints imposed by the relative motion of the matched coplanar features increases the constraints of the plane projection in each image. The super-homography has two advantages: it allows the detection of mismatched features and supplies coordinates with a sub-pixellic precision. When the calibration of the stereo-rig is available, the extraction of the homography induced by the relative motion of a camera from the super-homography supplies the trajectory of the vehicle.
Cette thèse s'inscrit dans le contexte de la robotique mobile et plus précisément dans le cadre de la localisation de véhicules en environnement urbain. Notre tâche a consisté à extraire le maximum d'informations sur le déplacement d'un système de stéréo-vision non-calibré embarqué à bord d'un véhicule en s'appuyant sur l'environnement structuré que forme les rues. L'objectif de cette étude est d'estimer le déplacement d'un véhicule lorsque la configuration de l'environnement s'oppose à sa localisation par un système de géo-référencement satellitaire.
Une modélisation polyhédrique des rues qui forment l'environnement urbain de cette étude permet de segmenter trois plans principaux : la route et les façades verticales des bâtiments qui délimitent l'espace de navigation. La segmentation du plan de la route est facilitée par la matérialisation des voies de navigation et autres trottoirs ou terre-pleins, parallèles entre eux au premier plan, qui sont à l'origine dans les images de contours qui convergent vers un point de fuite dominant.
Les conditions d'illumination et la présence d'obstacles dynamiques qui obstruent le champ de vision compliquent la tâche de suivi des plans segmentés. L'emploi d'une paire stéréo permet à chaque nouvelle pose de déterminer quelles sont les régions des images qui correspondent aux plans segmentés en calculant l'homographie induite par chaque plan entre les deux images de la paire. Le déplacement du véhicule étant supposé plan, ses mouvements d'inclinaison et de lacet influent peu sur chacune des homographies estimées entre les images de la paire stéréo. Nous possédons ainsi un outil fiable de segmentation des plans principaux qui forment l'environnement.
L'estimation du déplacement entre deux poses de chaque caméra consiste à estimer l'homographie induite par le mouvement relatif du plan considéré. Le calcul est entrepris grâce à la mise en correspondance des primitives (points, droites) détectées dans les régions planaires segmentées. La précision et la fiabilité des résultats dépendent essentiellement de la répartition spatiale des primitives mises en correspondance.
L'introduction de la notion de super-homographie permet de robustifier les estimations des homographies en calculant de manière simultanée toutes les homographies induites par un même plan, observé dans plusieurs images. La redondance des contraintes imposées par le mouvement relatif des primitives coplanaires mises en correspondance améliore l'estimation du mouvement de la projection du plan dans les différentes images. L'apport de la super-homographie est double : elle permet de détecter d'éventuelles erreurs de mise en correspondance et fournit une estimée des coordonnées des primitives coplanaires avec une précision sub-pixellique. Lorsque la calibration de la paire stéréo est connue, la trajectographie du véhicule peut être estimée en décomposant l'homographie relative au mouvement d'une des caméras, extraite de la super-homographie.
Une modélisation polyhédrique des rues qui forment l'environnement urbain de cette étude permet de segmenter trois plans principaux : la route et les façades verticales des bâtiments qui délimitent l'espace de navigation. La segmentation du plan de la route est facilitée par la matérialisation des voies de navigation et autres trottoirs ou terre-pleins, parallèles entre eux au premier plan, qui sont à l'origine dans les images de contours qui convergent vers un point de fuite dominant.
Les conditions d'illumination et la présence d'obstacles dynamiques qui obstruent le champ de vision compliquent la tâche de suivi des plans segmentés. L'emploi d'une paire stéréo permet à chaque nouvelle pose de déterminer quelles sont les régions des images qui correspondent aux plans segmentés en calculant l'homographie induite par chaque plan entre les deux images de la paire. Le déplacement du véhicule étant supposé plan, ses mouvements d'inclinaison et de lacet influent peu sur chacune des homographies estimées entre les images de la paire stéréo. Nous possédons ainsi un outil fiable de segmentation des plans principaux qui forment l'environnement.
L'estimation du déplacement entre deux poses de chaque caméra consiste à estimer l'homographie induite par le mouvement relatif du plan considéré. Le calcul est entrepris grâce à la mise en correspondance des primitives (points, droites) détectées dans les régions planaires segmentées. La précision et la fiabilité des résultats dépendent essentiellement de la répartition spatiale des primitives mises en correspondance.
L'introduction de la notion de super-homographie permet de robustifier les estimations des homographies en calculant de manière simultanée toutes les homographies induites par un même plan, observé dans plusieurs images. La redondance des contraintes imposées par le mouvement relatif des primitives coplanaires mises en correspondance améliore l'estimation du mouvement de la projection du plan dans les différentes images. L'apport de la super-homographie est double : elle permet de détecter d'éventuelles erreurs de mise en correspondance et fournit une estimée des coordonnées des primitives coplanaires avec une précision sub-pixellique. Lorsque la calibration de la paire stéréo est connue, la trajectographie du véhicule peut être estimée en décomposant l'homographie relative au mouvement d'une des caméras, extraite de la super-homographie.
Fichier principal
tel-000096941.pdf (20.69 Mo)
Télécharger le fichier
tel-00009694.pdf (6.86 Mo)
Télécharger le fichier
Format : Autre