Image matching for 3D reconstruction using complementary optical and geometric information

Appariement d'images pour la reconstruction 3D en utilisant l'information optique et géométrique

Patricio A. Galindo (1)

1 LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications

Abstract Image matching is a central research topic in computer vision which has been mainly focused on optical aspects. The aim of the work presented herein consists in the direct use of geometry to complement optical information in the tasks of 2D matching. First, we focus on global methods based on the calculus of variations. In such methods occlusions and sharp features raise difficult challenges. In these scenarios only the contribution of the regularizer accounts for results. Based on a geometric characterization of this behaviour, we formulate a variational matching method that steers grid lines away from problematic regions. While variational methods provide well behaved results, local methods based on match propagation provide results that adapt closely to varying 3D structures although choppy in nature. Therefore, we present a novel method to propagate matches using local information about surface regularity correcting 3D positions along with corresponding 2D matchings

L’appariement d’images est un sujet central de recherche en vision par ordinateur. La recherche sur cette problématique s’est longuement concentrée sur ses aspects optiques, mais ses aspects géométriques ont reçu beaucoup moins d’attention. Cette thèse promeut l’utilisation de la géométrie pour compléter les informations optique dans les tâches de mise en correspondance d’images. Tout d’abord, nous nous penchons sur les méthodes globales pour lesquelles les occlusions et arêtes vives posent des défis. Dans ces scenarios, le résultat est fortement dépendant de la contribution du terme de régularisation. À l'aide d’une caractérisation géométrique de ce comportement, nous formulons une méthode d’appariement qui dirige les lignes de la grille loin des régions problématiques. Bien que les méthodes variationnelles fournissent des résultats qui se comportent bien en général, les méthodes locales basées sur la propagation de correspondances fournissent des résultats qui s’adaptent mieux à divers structures 3D mais au détriment de la cohérence globale de la surface reconstruite. Par conséquent, nous présentons une nouvelle méthode de propagation guidée par des reconstructions locales de surface

Mots clés: 3D reconstruction; Image matching; Computer Vision; Propagation-based matching; Variational methods

Mots clés: Reconstruction 3D; Appariement d'images; Vision par ordinateur; Méthodes variationnelles; Imagerie tridimensionnelle; Reconstruction d'image; Comparaisons par paires; Méthode des; Calcul des variations; Géométrie combinatoire

Domaines: Autre [cs.OH]

Patricio A. Galindo. Image matching for 3D reconstruction using complementary optical and geometric information. Other [cs.OH]. Université de Lorraine, 2015. English. ⟨NNT : 2015LORR0007⟩. ⟨tel-01751407⟩