Détection de la ligne d'horizon et des points de fuite par apprentissage profond
Résumé
We investigate the application of convolutional neural networks (CNNs) to estimate the horizon line (HL) and detect horizontal vanishing points (hVP) from a single RGB image. Existing methods are typically based on extracting converging lines and clustering them to detect candidate vanishing points, then keeping the points that occur on the same line: the horizon line. In this paper, we examine different strategies for estimating the horizon line parameters and detecting the horizontal vanishing points using CNNs. The main contributions are as follows: I) We prove that predicting the parameters sequentially using separate CNNs outmatch using one single CNN to estimate all parameters simultaneously. II) We demonstratethat using the HL parameters as geometric constraints on the hVP detection improves the overall performance. III) We showcase the effect of using normal maps as additional features for better detection of vanishing points. IV) We point out that all proposed methods enable us to detect multiple hVPs without being constrained to a Manhattan-world assumption. We train all proposed networks on the Holicity dataset, and we achieve state-of-the-art results on the Horizon Lines in the Wild dataset and competitive results on two benchmark datasets.
Nous étudions l’application des réseaux de neurones convolutifs (CNN) pour estimer la ligne d’horizon (LH) et détecter les points de fuite horizontaux (PFh) à partir d’une seule image. Les méthodes existantes sont généralement basées sur l’extraction de segments de droite et leur regroupement par points de convergence. Dans cet article, nous examinons différentes stratégies pour estimer les paramètres de la ligne d’horizon et détecter les points de fuite horizontaux à l’aide des CNNs. Les principales contributions sont les suivantes : I) Nous prouvons que prédire séquentiellement les paramètres à l’aide de CNN distincts est plus performant que de les prédire simultanément en utilisant un seul CNN. II) Nous démontrons que l’utilisation des paramètres de la ligne d’horizon comme contraintes géométriques sur la détection des PFh améliore la performance globale. III) Nous montrons l’effet de l’utilisation des cartes normales comme caractéristiques supplémentaires pour une meilleure détection des points de fuite. Nos méthodes permettent de détecter de multiples PFh sans être contraint par l’hypothèse d’un monde de Manhattan. Nous entrainons tous les réseaux sur la base de données Holicity, et nous obtenons d’excellentsrésultats sur la base de données HLW et des résultats compétitifs sur deux bases de données de référence.
Origine : Fichiers produits par l'(les) auteur(s)