From markerless augmented reality for home design towards diminished reality on mobile devices
De la réalité augmentée sans marqueur pour l’aménagement d’intérieur à la réalité diminuée sur plateforme mobile
Résumé
Augmented reality in computer vision means the systems allowing inlay/incrustation of virtual objects inside a sequence of images in real time. Applications of this technology are multiple and affect more and more field, but the massive spread of mobile phone equipped with camera allowed the deployment of first public services exploiting Augmented Reality. The context of this thesis frames the use of these systems on mobile phone for the fitting of virtual furniture in an indoor environment. Augmented reality involves the location of the camera as well as a partial reconstruction of the observed scene in order to be able to arrange the piece of furniture in a manner that is physically consistent with the environment : our contributions concern first visual odometry for a rolling shutter camera, then simple methods for the 3D reconstruction of indoor environments.
La réalité augmentée en vision désigne les systèmes rendant possibles l’incrustation d’objets virtuels dans une séquence d’images en temps réel. Les applications de cette technologie sont multiples et touchent de plus en plus de domaines, mais la diffusion massive des téléphones mobiles équipés d’une caméra ont permis le déploiement de premiers services grand public exploitant la réalité augmentée. Le contexte de cette thèse concerne l’utilisation de cette technique sur plateforme mobile pour assister un usager à décorer un environnement d’intérieur, notamment en rajoutant des meubles virtuels dans les images. La réalité augmentée suppose la localisation de la caméra ainsi qu’une reconstruction partielle de la scène observée afin de pouvoir disposer le meuble de manière physiquement cohérente avec l’environnement. Dans une première contribution, nous étudions comment exploiter les caméras équipant les téléphones mobiles, généralement à obturateur déroulant. Ces caméras exposent les lignes d’une image à des temps différents, au contraire des caméras à obturateur global qui exposent l’ensemble de l’image à un instant donné. Ainsi, dans le cas d’un mouvement relatif entre la caméra et la scène, chaque ligne est exposée d’un point de vue différent, ce qui produit des distorsions dans les images. D’abord, nous étudions l’impact de l’utilisation de caméras à obturateur déroulant sur les algorithmes associés à la réalité augmentée, en particulier sur l’Odométrie Visuelle (VO), ou la Cartographie et Localisation Simultanées (SLAM). Nous exploitons un dispositif constitué d’une centrale inertielle bas coût (gyros et accéléros), d’une caméra à obturateur déroulant et d’une caméra à obturateur global montées de manière rigide pour avoir des points de vues très proche. Les algorithmes VO ou SLAM sont appliqués sur des séquences d’images synchronisées, acquises sous un système de capture de mouvements afin de disposer d’une vérité terrain. Ces travaux illustrent la nécessité d’une modélisation plus fidèle du capteur à obturateur déroulant, notamment lors de mouvements rapides de la caméra en rotation. Ensuite, nous proposons un nouveau modèle en temps continu de la trajectoire effectuée par la caméra afin de pouvoir obtenir une estimée des paramètres extrinsèques pour chaque ligne d’une image. Ce modèle suppose une interpolation à partir d’un ensemble de points de contrôle, les points de contrôle pouvant être disposés de manière non uniforme dans le temps. Cette distribution temporelle non-uniforme des points de contrôle permet de les placer quand et où cela est nécessaire. Nous présentons deux méthodes permettant d’estimer les instants où la génération d’un point de contrôle apporte le plus d’information. Les points de contrôle sont ensuite raffinés par optimisation afin d’obtenir une trajectoire correspondant aux observations. Nous étendons les paramètres de l’optimisation en incluant l’horodatage des points de contrôle et montrons l’amélioration obtenue sur l’estimation de trajectoires réelles. Dans une deuxième contribution, nous avons étudié comment modéliser une scène. Le contexte d’intérieur suppose de grands plans de la scène généralement très peu texturés, pour lesquels les méthodes de reconstruction communes par appariement de points échouent. Afin de répondre à cette contrainte, nous proposons l’utilisation de primitives de plus haut niveau ainsi que différentes paramétrisations des amers de la carte. Nous fournissons des modèles de pièce ayant différentes propriétés. Une modélisation plus ou moins fidèle de différents types d’intérieur, est donnée par des paramètres qui sont estimés via un processus d’optimisation. Nous présentons finalement différentes applications sur le rajout de meubles virtuels pour l’aménagement en milieu d’intérieur. Dans un premier temps, la pose caméra est obtenue à partir d’une seule image et de différentes hypothèses et informations en entrée. L’adaptation d’un algorithme de SLAM existant sur tablette Android est également partiellement abordé. Un module complet d’un processus de réalité altérée est finalement présenté, où l’environnement est en partie effacé afin de pouvoir rajouter un élément virtuel.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...