Three-dimensional structure from a monocular sequence of images
Résumé
In this paper, we address the following problem: given a camera moving in an unknown environment, we want to obtain a 3D description of the environment. We present a unifying approach to the problem of the lUoving camera by deriving a unique formalism to pro cess uniformly different but complementary features. namely points and linear segments, in order to solve important dynamic vision problems such as tracking and structure from motion. We first present different concept for tracking features: (1) 2D tracker: 2D features (points and segments) are tracked using an order 1 dynamic model for their evolution; (2) 2D ..i.. esümation tracker: 3D fusion of 2D features is performed recursively, then the value predicted at time t for these 3D features is projerted at time t + 1 onto the camera focal plane and replaces the dynamic model used in the 2D tracker. This allows for introducing 3D informations into the 2D features tracker without prior kllowledge of the envirolllllellt. (3) .JD trader: the 2D tracker disappears totally, and aH computations are :3D. This tracker combines the silllplicity of the 2D tracker and the dficiency of the 2D-'-estimation tracker. We then describe the mechallisllls of fusion that integrate 2D measurements into an estimate of the feature 3D parameters. Uncertaillties are .taken into a.CCOUllt through extended Ka.lman filtering. F",ature parameterizatioll are chosen such as to reduce the algorithmic complexity. simplify the linearization process and ensure numerical stability.
Dans cet article, nous étudions le problème suivant: étant donné une caméra .. \ mouvement dans un environnement inconnu, comment obtenir une description de la géométrie tridimensionnelle l :3D) de cel ui-ci : Nous proposons un formalisme unifié pour résoudre simultanément les problèmes de poursuite d'indices et de reconstruction 3D : ce formalisme permet de traiter des indices visuels différents et complémentaires, les points et les segments de droites. Nous présentons d'abord plusieurs approches pour résoudre la poursuite d'indices visuels: (1) poursuite 2D : les indices 2D (points et segments) sont poursuivis en utilisant un modèle dynamique d'ordre l, (2) poursuite 2D avec estimation: la fusion 3D des indices 2D est effectuée récursivement, et la valeur prédite à l'instant t des indices .3D est projetée dans le plan image. Ceci remplace le modèle dynamique utilisé dans le suive 20 et permet d'introduire une information 3D dans la poursuite 2D sans connaissance a priori sur l'environnement. (3) Poursuite 3D : tous les calculs se font en 3D. Cette poursuite combine la simplicité de la poursuite 2D et l'efficacité de l'estimation 3D. Nous décrivons ensuite les mécanismes de fusion qui permettent d'intégrer des mesures 2D pour estimer les paramètres des primitives 3D. Les incertitudes sont prises en compte grâce à un filtre de Kalman étendu. La paramétrisation des primitives géométriques 2D et 3D est choisie pour assurer la stabilité numérique des calculs, réduire la complexité algorithmique, et simplifier les équations de mesure.