Intrinsic image decomposition from multiple photographs
Décomposition en images intrinsèques à partir de plusieurs photographies
Résumé
Editing materials and lighting is a common image manipulation task that requires significant expertise to achieve plausible results. Each pixel aggregates the effect of both material and lighting, therefore standard color manipulations are likely to affect both components.
Intrinsic image decomposition separates a photograph into independent layers: reflectance, which represents the color of the materials, and illumination, which encodes the effect of lighting at each pixel.
In this thesis, we tackle this ill-posed problem by leveraging additional information provided by multiple photographs of the scene. We combine image-guided algorithms with sparse 3D information reconstructed from multi-view stereo, in order to constrain the decomposition.
We first present an approach to decompose images of outdoor scenes, using photographs captured at a single time of day. This method not only separates reflectance from illumination, but also decomposes the illumination into sun, sky, and indirect layers. We then develop a methodology to extract lighting information about a scene solely from a few images, thus simplifying the capture and calibration steps of our intrinsic decomposition. In a third part, we focus on image collections gathered from photo-sharing websites or captured with a moving light source. We exploit the variations of lighting to process complex scenes without user assistance, nor precise and complete geometry.
The methods described in this thesis enable advanced image manipulations such as lighting-aware editing, insertion of virtual objects, and image-based illumination transfer between photographs of a collection.
Intrinsic image decomposition separates a photograph into independent layers: reflectance, which represents the color of the materials, and illumination, which encodes the effect of lighting at each pixel.
In this thesis, we tackle this ill-posed problem by leveraging additional information provided by multiple photographs of the scene. We combine image-guided algorithms with sparse 3D information reconstructed from multi-view stereo, in order to constrain the decomposition.
We first present an approach to decompose images of outdoor scenes, using photographs captured at a single time of day. This method not only separates reflectance from illumination, but also decomposes the illumination into sun, sky, and indirect layers. We then develop a methodology to extract lighting information about a scene solely from a few images, thus simplifying the capture and calibration steps of our intrinsic decomposition. In a third part, we focus on image collections gathered from photo-sharing websites or captured with a moving light source. We exploit the variations of lighting to process complex scenes without user assistance, nor precise and complete geometry.
The methods described in this thesis enable advanced image manipulations such as lighting-aware editing, insertion of virtual objects, and image-based illumination transfer between photographs of a collection.
La modification d'éclairage et de matériaux dans une image est un objectif de longue date en traitement d'image, vision par ordinateur et infographie.
Cette thèse a pour objectif de calculer une décomposition en images intrinsèques, qui sépare une photographie en composantes indépendantes : la réflectance, qui correspond à la couleur des matériaux, et l'illumination, qui représente la contribution de l'éclairage à chaque pixel. Nous cherchons à résoudre ce problème difficile à l'aide de plusieurs photographies de la scène. L'intuition clé des approches que nous proposons est de contraindre la décomposition en combinant des algorithmes guidés par l'image, et une reconstruction 3D éparse et incomplète générée par les algorithmes de stéréo multi-vue.
Une première approche permet de décomposer des images de scènes extérieures, à partir de plusieurs photographies avec un éclairage fixe. Cette méthode permet non seulement de séparer la réflectance de l'illumination, mais décompose également cette dernière en composantes dues au soleil, au ciel, et à l'éclairage indirect. Une méthodologie permettant de simplifier le processus de capture et de calibration, est ensuite proposée. La troisième partie de cette thèse est consacrée aux collections d'images: nous exploitons les variations d'éclairage afin de traiter des scènes complexes sans intervention de l'utilisateur.
Les méthodes décrites dans cette thèse rendent possible plusieurs manipulations d'images, telles que l'édition de matériaux tout en préservant un éclairage cohérent, l'insertion d'objets virtuels, ou le transfert d'éclairage entre photographies d'une même scène.
Cette thèse a pour objectif de calculer une décomposition en images intrinsèques, qui sépare une photographie en composantes indépendantes : la réflectance, qui correspond à la couleur des matériaux, et l'illumination, qui représente la contribution de l'éclairage à chaque pixel. Nous cherchons à résoudre ce problème difficile à l'aide de plusieurs photographies de la scène. L'intuition clé des approches que nous proposons est de contraindre la décomposition en combinant des algorithmes guidés par l'image, et une reconstruction 3D éparse et incomplète générée par les algorithmes de stéréo multi-vue.
Une première approche permet de décomposer des images de scènes extérieures, à partir de plusieurs photographies avec un éclairage fixe. Cette méthode permet non seulement de séparer la réflectance de l'illumination, mais décompose également cette dernière en composantes dues au soleil, au ciel, et à l'éclairage indirect. Une méthodologie permettant de simplifier le processus de capture et de calibration, est ensuite proposée. La troisième partie de cette thèse est consacrée aux collections d'images: nous exploitons les variations d'éclairage afin de traiter des scènes complexes sans intervention de l'utilisateur.
Les méthodes décrites dans cette thèse rendent possible plusieurs manipulations d'images, telles que l'édition de matériaux tout en préservant un éclairage cohérent, l'insertion d'objets virtuels, ou le transfert d'éclairage entre photographies d'une même scène.
Loading...