3D User Interfaces, from Mobile Devices to Immersive Virtual Environments

Interfaces utilisateur 3D , des appareils mobiles pour les environnements virtuels immersifs

Martin Hachet (1, 2)

1 LaBRI - Laboratoire Bordelais de Recherche en Informatique
2 IPARLA - Visualization and manipulation of complex data on wireless mobile devices

Enhancing interaction between users and 3D environments is a challenging research question that is fundamental for the positive widespread of interactive 3D graphics in many fields of our societies (e.g. education and art). In this document, I present various 3D User Interfaces (3D UIs) we have developed these past few years, and that contribute to this general quest. The first chapter focuses on 3D interaction for mobile devices. In particular, I present 3D UIs for interaction from keystrokes, and for interaction from stylus/finger input. Then, I present two multi degrees-of-freedom prototypes based on the embedded cameras of mobile devices. In the second chapter, I concentrate on 3D interaction for general touch-screens (e.g. tables and large interactive screens). I present Navidget, an example of 3D UI dedicated to camera viewpoint control from pen/finger inputs, and I discuss the challenges of 3D interaction on multi-touch devices. Finally, the third chapter of this document is dedicated to immersive virtual environments, with a strong focus on musical interfaces. I present the new directions we have explored to enhance interaction between musicians, audiences, sounds, and interactive 3D environments. I conclude by discussing some directions for the future of 3D User Interfaces.

Améliorer l'interaction entre un utilisateur et un environnement 3D est un défi de recherche primordial pour le développement positif des technologies 3D interactives dans de nombreux domaines de nos sociétés, comme l'éducation. Dans ce document, je présente des interfaces utilisateur 3D que nous avons développées et qui contribuent à cette quête générale. Le premier chapitre se concentre sur l'interaction 3D pour des terminaux mobiles. En particulier, je présente des techniques dédiées à l'interaction à partir de touches, et à partir de gestes sur les écrans tactiles des terminaux mobiles. Puis, je présente deux prototypes à plusieurs degrés de liberté basés sur l'utilisation de flux vidéos. Dans le deuxième chapitre, je me concentre sur l'interaction 3D avec les écrans tactiles en général (tables, écrans interactifs). Je présente Navidget, un exemple de technique d'interaction dédié au controle de la caméra virtuelle à partir de gestes 2D, et je discute des défis de l'interaction 3D sur des écrans multi-points. Finalement, le troisième chapitre de ce document est dédié aux environnements virtuels immersifs, avec une coloration spéciale vers les interfaces musicales. Je présente les nouvelles directions que nous avons explorées pour améliorer l'interaction entre des musiciens, le public, le son, et les environements 3D interactifs. Je conclue en discutant du futur des interfaces utilisateur 3D.

Mots clés: 3D user interfaces; 3D interaction; mobile devices; touch-screens; multi-touch; musical interfaces; virtual reality; user studies.

Mots clés: réalité virtuelle

Domaines: Interface homme-machine [cs.HC]

Martin Hachet. 3D User Interfaces, from Mobile Devices to Immersive Virtual Environments. Human-Computer Interaction [cs.HC]. Université Sciences et Technologies - Bordeaux I, 2010. ⟨tel-00576663⟩