3D Localization and Modeling by successive approximations of the projective camera model
Localisation et modélisation tridimensionnelles par approximations successives du modèle perspectif de caméra
Résumé
In this report, we propose a generic algorithm to compute objet pose and reconstruction, with a perspective camera model. Given one image and a 3D model of the scene, object pose consists in recovering the position and the orientation of the camera with respect to the camera. We successively study the case of 2D to 3D point correspondences, and the case of line correspondences. The method consists in iteratively improving the pose computed with an affine camera model (weak perspective or paraperspective) to converge, at the limit, to the pose estimation computed with a perspective camera model. We analyze mathematical and geometric relationships between weak perspective, paraperspective and perspective camera models. We introduce a simple way to take into account the orthogonality constraint associated with the rotation matrix. We analyze the sensitivity to camera calibration errors and we define the optimal experimental setup with respect to imprecise camera calibration. We study its convergence based on numerical and experimental considerations, and we test its efficiency with both synthetic and real data. In a second time, we extend the previous object pose algorithms for Euclidean reconstruction from a sequences of images, by using a perspective camera model. The proposed method converges in a few iterations, is computationally efficient, and does not suffer from the non linear nature of the problem. With respect to factorization and/or affine-invariant methods, this method solves for the sign (reversal) ambiguity in a very simple way and provides much more accurate reconstruction results. We give a detailed account of the method and compare its complexity with respect to a non linear minimization method. Then, we present a second approach for recovering Euclidean reconstruction, with an uncalibrated affine camera mounted onto a robot arm. We show how using Euclidean information given by the robot motion. We also explain how obtaining camera calibration and hand-eye calibration. In order to use these algorithms for reconstruction from a practical point of view, we present a method to do the tracking of characteristic points along a sequence of images. Moreover, we also present a method to obtain a subpixel accuracy of the image point coordinates for a low computation cost.
Dans le cadre de cette thèse, nous proposons un algorithme générique permettant de résoudre le problème de calcul de pose et le problème de reconstruction avec un modèle perspectif de caméra. Étant donnés une image et un modèle 3D de la scène (ou objet) visible dans l'image, le calcul de pose consiste à calculer la position et l'orientation de la caméra par rapport à la scène. Nous étudions successivement le cas de correspondances 2D 3D de points, et le cas des droites. La méthode proposée améliore de manière itérative la pose calculée avec un modèle affine de caméra (orthographique à l'échelle ou paraperspectif) pour converger, à la limite, vers une estimation de la pose calculée avec un modèle perspectif de caméra. Nous étudions les relations mathématiques et géométriques existant entre les modèles orthographique à l'échelle, paraperspectif et perspectif de caméra. Nous introduisons une façon simple de prendre en compte la contrainte d'orthogonalité associée à une matrice de rotation. Nous analysons la sensibilité de la méthode par rapport aux erreurs d'étalonnage de la caméra et nous définissons les conditions expérimentales optimales par rapport à un étalonnage imprécis. Nous étudions la convergence de la méthode sur la base de considérations numériques et expérimentales et nous testons son efficacité avec des données synthétiques et réelles. Dans un second temps, nous étendons les algorithmes de calcul de pose précédents au problème de la reconstruction euclidienne avec un modèle perspectif de caméra, à partir d'une séquence d'images. La méthode proposée converge en quelques itérations, est efficace du point de vue calculatoire, et ne souffre pas de la nature non linéaire du problème traité. Comparativement à des méthodes telles que la factorisation ou les invariants affines, notre méthode résout le problème de l'ambiguïté de signe d'une façon très simple et fournit des résultats bien plus précis. Nous décrivons la nouvelle méthode en détail, et comparons la complexité de la méthode proposée avec une méthode de minimisation non linéaire. Nous présentons ensuite une seconde approche du problème de reconstruction euclidienne en considérant un modèle affine de caméra non étalonnée montée sur le bras d'un robot. Nous montrons comment utiliser l'information euclidienne fournie par le déplacement du robot afin d'obtenir une reconstruction euclidienne, et expliquons comment obtenir l'étalonnage du modèle affine de caméra ainsi que l'étalonnage caméra-pince. Afin de pouvoir utiliser en pratique ces algorithmes de reconstruction, nous présentons une méthode de poursuite de points caractéristiques sur une séquence monoculaire d'images, puis sur une séquence stéréoscopique. Nous proposons également une méthode pour obtenir une précision sous-pixellique des positions des points dans les images pour un faible coût calculatoire.
Loading...