Interaction techniques, personalized experience and surface reconstruction for spatial augmented reality.

Techniques d'interaction, affichage personnalisé et reconstruction de surfaces pour la réalité augmentée spatiale.

Brett Ridel (1, 2)

1 MANAO - Melting the frontiers between Light, Shape and Matter
2 LaBRI - Laboratoire Bordelais de Recherche en Informatique

This thesis extends the field of spatial augmented reality (SAR). Spatial augmented reality allows to improve or modify the perception of the reality with virtual information displayed directly in the real world, using video-projection. Many fields such as tourism, entertainment, education, medicine, industry or cultural heritage may benefit from it. Recent computer science techniques allow to measure, analyse and visualise the geometry of the surface of real objects, as for instance archeological artefacts. We propose a SAR interaction and visualisation technique that combines the advantages of the study of both real and 3D archeological artefacts. Thus, we superimpose on the object an expressive rendering based on curvatures with SAR, allowing for example to show details of engravings. Next, we simulate the use of a flashlight with the help of a 6-degree-of-freedom controller. The user can then specify the area on the object to be augmented and adjust the various necessary parameters of the expressive rendering. One of the main caracteristics of SAR is to enable multiple users to simultaneously participate to the same experience. However, depending on the target application, this can be seen as a drawback. We propose a new display device that allows to create experiences in SAR that are both multiuser and personalised by taking into account the user point of view. In order to do so, the projection display, set in front of the object to augment, is made from a material that is both retro-reflective and semi-transparent. We suggest two different uses of this new device, as well as two scenarios of application. Most of recent tracking solutions, even with the knowledge of the geometry of the object beforehand, fail when applied to the augmentation of deformable objects. In order to adress this issue, we propose a reconstruction technique for developable surfaces using parabolic-cylinders based on MLS. This kind of surface may represent cloth or fabric for instance. We show a solution addressing approximation issues in areas where the problem becomes ambiguous.

Cette thèse s’inscrit dans le thème de la réalité augmentée spatiale (RAS). La RAS permet d’améliorer ou de modifier la perception de la réalité, au travers d’informations virtuelles affichées directement dans l’environnement réel, à l’aide d’un vidéoprojecteur. Bien des domaines peuvent en profiter, tels que le tourisme, le divertissement, l’éducation, la médecine, l’industrie ou le patrimoine culturel. Les techniques informatiques actuelles permettent d’acquérir, d’analyser et de visualiser la géométrie de la surface d’objets réels, comme par exemple pour des artefacts archéologiques. Nous proposons une technique d’interaction et de visualisation en RAS qui combine les avantages de l’étude d’artefacts archéologiques réels et de l’étude d’artefacts archéologiques 3D. Pour cela, nous superposons sur l’objet une visualisation expressive en RAS basée sur les courbures, permettant par exemple de montrer le détail des gravures. Nous simulons ensuite l’utilisation d’une lampe-torche grâce à un interacteur à 6 degrés de liberté. L’utilisateur peut ainsi spécifier la zone de l’objet à augmenter et ajuster les nombreux paramètres nécessaires au rendu expressif. L’une des principales caractéristiques de la réalité augmentée spatiale est de permettre à plusieurs utilisateurs de participer simultanément à la même expérience. Cependant, en fonction de l’application souhaitée, cela peut être vu comme un inconvénient. Nous proposons un nouveau dispositif d’affichage permettant de créer des expériences en RAS qui soient multi-utilisateurs et personnalisées, en prenant en compte le point de vue de l’utilisateur. Nous utilisons pour cela un support de projection rétroréfléchissant semi-transparent que l’on positionne en face de l’objet à augmenter. Nous proposons deux implémentations différentes de ce nouveau dispositif, ainsi que deux scénarios d’application. Lorsque l’on veut augmenter des objets déformables, la plupart des techniques de tracking actuelles et la connaissance préalable de la géométrie de l’objet ne suffisent plus. En vue d’être par la suite utilisée pour augmenter un objet, nous proposons une technique de reconstruction de surfaces développables par approximation de cylindres paraboliques, basée sur les MLS. Ce type de surface peut représenter par exemple des vêtements ou des tissus. Nous proposons une solution pour supprimer les problèmes d’approximation dans les zones à forte ambiguïté.

Mots clés: Spatiale augmented reality; human-computer interaction; display; developable surfaces

Mots clés: Réalité augmentée spatiale; interaction homme-machine; affichage; surfaces développables

Domaines: Interface homme-machine [cs.HC]

Brett Ridel. Techniques d'interaction, affichage personnalisé et reconstruction de surfaces pour la réalité augmentée spatiale.. Interface homme-machine [cs.HC]. Université de bordeaux, 2016. Français. ⟨NNT : ⟩. ⟨tel-01414792⟩