Spatial Augmented Reality for Physical Drawing
Interaction en Réalité Augmentée Spatiale pour le Dessin Physique
Résumé
This dissertation presents the design, implementation, and evaluation of novel Spatial Augmented Reality (SAR) applications. These applications focus on enhancing physical drawing such as pencil drawing or painting by the projection of digital tools. First, we describe our tabletop SAR system and its possiblities. It takes into account the camera and projector internal and external parameters to enable precise projection onto tracked sheets of paper. In addition to this, we enable touch and hand detection over the table with a depth camera. Consequently, it enables the creation of interactive touch screens on the pieces of paper on a table. Next, we focus on the creation of visual art, more precisely the first steps of creation when the artist structures it. We enable the creation and edition of digital construction lines (DCL) that are projected onto the paper. These tools are Augmented Reality (AR) tools, i.e., they add to existing tools: the whole user interface is on the table and the user never uses a mouse, keyboard or screen. In addition to the simple DLC (lines and curves), we propose to specialize them for specific drawings such as perspective drawing, character drawing and drawing from a 3D model. We propose a novel way to display and interact with 3D objects on paper. We also propose to create mixed media drawing: it enables the creation of interactive visual art that takes advantage from both the physical and digital possiblities. Finally, we describe new usages for our SAR system in many different contexts through public exhibitions. The acceptability of such systems was found very good and "magical" by most of the users. They only saw and intera
Cette dissertation décrit le design, implémentation et évaluation de nouvelles applications en Réalité Augmentée Spatiale (RAS). Ces applications sont concentrées sur l'amélioration du dessin physique tel que les dessins au crayons ou peintures en projetant des outils numériques. Tout d'abord, nous décrivons notre système de RAS et ses possibilités. Il prend en comptes les paramètres internes et externes d'un couple caméra/projecteur pour permettre une projection précise sur des feuilles de papier. De plus, il permet la détection du toucher des feuilles et de la position de la main au dessus de celles-ci grâce à une caméra de profondeur. Par conséquent, il permet la création d'écrans tactiles interactifs sur des feuilles de papier posées sur une table. Ensuite, nous nous penchons sur la création d'art visuel, plus précisément sur les premières étapes de la création quand l'artiste créer la structure. Nous offrons la possibilité de créer et d'éditer des lignes de construction numériques (LCN) projetées sur le papier. Ces outils sont des outils de Réalité Augmentée (RA), c'est-à-dire qu'ils s'ajoutent aux outils existants: toute l'interface utilisateur est sur la table, et l'utilisateur n'utilise jamais ni une souris, ni un clavier ni un écran. En plus des simples LCN (lignes et courbes), nous proposons une spécialisation pour les dessins spécifiques tels que les dessins en perspective, les dessins de personnages ainsi que les dessins à partir d'un modèle 3D. Nous proposons de nouvelles méthodes pour afficher et interagir avec des objets 3D sur papier. Nous proposons également de créer des dessins mixtes: art visuel interactif qui tire parti à la fois des possibilités physiques et numériques. Pour finir, nous décrivons des nouveaux usages pour notre système de RAS de nombreux contextes différents à travers des démonstrations publiques. L'acceptabilité de ce genre de système a été très bonne, et "magique" par la plupart des utilisateurs. Ils ont juste vu