Image-based methods for view-dependent effects in real and synthetic scenes
Méthodes basées image pour le rendu d’effets dépendants du point de vue dans les scènes réelles et synthétiques
Résumé
The creation and interactive rendering of realistic environments is a time consuming problem requiring human interaction and tweaking at all steps. Image-based approaches use viewpoints of a real world or high quality synthetic scene to simplify these tasks. These viewpoints can be captured in the real world or generated with accurate offline techniques. When rendering a novel viewpoint, geometry and lighting information are inferred from the data in existing views, allowing for interactive exploration of the environment. But sparse coverage of the scene in the spatial or angular domain introduces artifacts; a small number of input images is adversarial to real world scene reconstruction, as is the presence of complex materials with view-dependent effects when rendering both real and synthetic scenes. We aim at lifting these constraints by refining the way information is stored and aggregated from the viewpoints and exploiting redundancy. We also design geometric tools to properly reproject view-dependent effects in the novel view.For real world scenes, we rely on semantic information to infer material and object placement. We first introduce a method to perform reconstruction of architectural elements from a set of three to five photographs of a scene. We exploit the repetitive nature of such elements to extract them and aggregate their color and geometry information, generating a common ideal representation that can then be reinserted in the initial scene. Aggregation helps improve the accuracy of the viewpoint pose estimation, of the element geometry reconstruction, and is used to detect locations exhibiting view-dependent specular effects.We describe a second method designed to similarly rely on semantic scene information to improve rendering of street-level scenery. In these scenes cars exhibit many view-dependent effects that make them hard to reconstruct and render accurately. We detect and extract them, relying on a per-object view parameterization to refine their geometry, including a simplified representation of reflective surfaces such as windows. To render view-dependent effects we perform a specular layer separation and use our analytical reflector representation to reproject the information in the novel view following the flow of reflections.Finally, while synthetic scenes provide completely accurate geometric and material information, rendering high quality view-dependent effects interactively is still difficult. Inspired by our second method, we propose a novel approach to render such effects using precomputed global illumination. We can precompute specular information at a set of predefined locations in the scene, stored in panoramic probes. Using a simplified geometric representation we robustly estimate the specular flow, gathering information from the probes at a novel viewpoint. Combined with an adaptive parameterization of the probes and a material-aware reconstruction filter, we render specular and glossy effects interactively.The results obtained with our methods show an improvement in the quality of recreated view-dependent effects, using both synthetic and real world data and pave the way for further research in image-based techniques for realistic rendering.
La création et le rendu interactif d’environnements réalistes est un problème complexe qui requiert de nombreux réglages et ajustements manuels. Les méthodes basées-image visent à simplifier ces tâches en utilisant des vues existantes d’une scène réelle ou synthétique. Ces points de vue peuvent être capturés dans le monde réel ou générés grâce à des algorithmes de rendu hors-ligne très réalistes. Pour générer un nouveau point de vue sur la scène, la géométrie et l’apparence associées sont estimées à partir de l’information des vues existantes, permettant l’exploration de l’environnement en temps réel.Lorsque les vues d’entrée ne couvrent la scène que partiellement, spatialement ou angulairement, des artefacts apparaissent souvent ; utiliser un faible nombre d’images d’entrée limite la qualité de la reconstruction des scènes réelles, tandis que les matériaux non-diffus compliquent le rendu des scènes tant réelles que synthétiques. Nous proposons plusieurs méthodes pour contourner ces limitations, en améliorant la façon dont l’information est stockée et agrégée depuis les vues d’entrée tout en exploitant les redondances. Nous décrivons aussi des outils géométriques afin de reprojeter les effets dépendants du point de vue pour la génération d’une nouvelle vue.Pour les scènes tirées du monde réel, nous détectons la présence de matériaux et objets grâce à de l’information sémantique. Nous présentons tout d’abord une méthode pour reconstruire et rendre des éléments architecturaux à partir de quelques vues. Nous exploitons la nature répétitive de ces éléments, extrayant et combinant leur information d’apparence et de géométrie pour générer une représentation commune idéale qui peut par la suite être réinsérée dans la scène initiale. Cette combinaison améliore l’estimation des paramètres des vues d’entrée, la reconstruction de la géométrie de l’élément, et est utile pour détecter les régions comportant des effets spéculaires dépendants du point de vue.Nous décrivons une deuxième méthode qui s’appuie aussi sur la sémantique de la scène pour améliorer le rendu d’environnements urbains. Dans ces scènes, les voitures présentent de nombreux effets dépendants du point de vue qui les rendent complexes à reconstruire et rendre fidèlement. Nous détectons et extrayons ces éléments grâce à une paramétrisation spécifique à chaque instance, afin de raffiner leur géométrie, tout en construisant une représentation simplifiée des surfaces réflectives, telles que les fenêtres. Pour rendre les effets dépendants du point de vue, nous séparons l’information spéculaire de chaque vue d’entrée et utilisons notre représentation analytique des réflecteurs pour reprojeter l’information dans la nouvelle vue, en respectant le déplacement des réflexions.Enfin, bien que les scènes synthétiques fournissent une information exacte de la géométrie et des matériaux présents, restituer fidèlement les effets non-diffus de façon interactive reste difficile. En nous inspirant de notre deuxième méthode, nous proposons une nouvelle approche pour rendre ces effets en utilisant de l’illumination globale précalculée. Pour un ensemble de points de vue prédéfinis dans la scène, nous précalculons l’information spéculaire, stockée dans des images panoramiques. Grâce à une représentation simplifiée de la géométrie, nous pouvons estimer le déplacement des réflexions de façon robuste, accumulant dans la nouvelle vue l’information provenant des panoramas. Combinée avec une paramétrisation adaptative des images panoramiques et un filtre de reconstruction préservant les matériaux, cette méthode restitue les effets de réflexions pour différent types de matériaux, de façon interactive.Les résultats obtenus grâce à nos méthodes montrent une amélioration de la qualité du rendu des effets dépendants du point de vue, que ce soit pour des données synthétiques ou du monde réel. Ces travaux ouvrent la voie à de futures recherches sur les techniques basées-image pour le rendu réaliste.
Origine : Version validée par le jury (STAR)