Sharing interactions in virtual environments: new collaborative techniques based on a generic dialog protocol

Partage d'interactions en environnements virtuels : de nouvelles techniques collaboratives basées sur un protocole de dialogue générique

Laurent Aguerreche (1)

1 BUNRAKU - Perception, decision and action of real and virtual humans in virtual environments and impact on real environments

Virtual reality enables users to manipulate virtual objects from local or distant sites. Nevertheless, virtual objects are usually manipulated by only one user at a time. In this thesis, we define an interaction protocol describing how interaction tools and interactive objects communicate. This message-based protocol handles local and distant interactions on interactive objects for single or multi-user situations. It also manages permissions for access of interaction tools. Moreover the development of this protocol led to the definition of interaction tools and interactive objects. This characterization has driven an implementation based on a set of reusable software components that let an interaction tool modify how it selects or modifies interactive objects, and let an interactive object modify its own behaviour when it is manipulated. On top of that, extensions to the COLLADA file format based on this characterization and dedicated to collaborative interaction are proposed. A new technique for multi-user interaction is proposed. Movements in 6 degrees of freedom are deduced from the positions (not orientations) provided by 3 virtual hands. This technique thus enables two or three users to manipulate together virtual objects. The ability given to users to put precisely their virtual hands brings them a way to imitate better reality. In fact, users' feeling during a manipulation can depend on how users hold this object notably with cumbersome objects. Therefore, this technique aims to obtain realistic hand positions and gestures of users. The implementation is built upon the interaction protocol. A new concept of reconfigurable tangible interface for single or multi-user interaction is also proposed. This interface provides a way to manipulate virtual 3D objects. This interface, named RTD, proposes a reconfigurable physical mesh made up of manipulation points that have to be put on a virtual object, like grasping points. This mesh thus roughly sketches the form of the virtual object to manipulate. Two kinds of RTDs are illustrated in this thesis. A first kind of RTD is a triangular shape. It is named RTD-3 and so made up of three manipulation points. Experiments show that users prefer this technique over classical techniques of virtual reality like the mean of users' movements or the separation of degrees of freedom. A second kind of RTD is made up of four manipulation points and exists in two versions. The plane RTD-4 has its four points laying on a plane to create a quadrilateral. The non-plane RTD-4 uses articulated joints at its manipulation points to obtain a tetrahedron. A 3D form for a RTD would lead to better matching between the form of a RTD and the form of the virtual object to manipulate.

La réalité virtuelle permet à des utilisateurs de manipuler des objets virtuels depuis un même lieu ou des sites géographiques distants. Toutefois, un objet virtuel ne peut souvent être manipulé que par une seule personne à la fois. Dans cette thèse, nous définissons un protocole d'interaction décrivant le dialogue entre des outils d'interaction et des objets interactifs. Ce protocole basé messages gère les interactions locales ou distantes sur des objets interactifs en mono et multi-utilisateurs. Il inclut également une gestion des permissions pour les accès des outils d'interaction. Par ailleurs, le développement de ce protocole a permis de définir ce que sont des outils d'interaction et des objets interactifs. Cette caractérisation a donné lieu à une implémentation reposant sur un ensemble de composants logiciels réutilisables qui permettent notamment à un outil d'interaction de modifier la méthode de sélection et de modification d'objets interactifs, et à un objet interactif de modifier son comportement lorsqu'il est manipulé. De plus, cette caractérisation a permis de proposer des extensions du format COLLADA afin d'y incorporer une gestion d'interactions collaboratives. Une nouvelle technique d'interaction multi-utilisateurs est proposée. Elle déduit des mouvements selon 6 degrés de liberté à partir des positions (sans les orientations) de 3 mains virtuelles. Cette technique permet donc à deux ou trois utilisateurs de manipuler ensemble un objet virtuel. La possibilité d'un positionnement précis des mains virtuelles d'un utilisateur lui permet de mieux imiter la réalité. En effet, selon les positionnements des mains, le ressenti de l'utilisateur lors de la manipulation d'un objet, en particulier des objets encombrants, peut varier. Cette technique cherche donc à obtenir des placements des mains et des gestes réalistes chez l'utilisateur. Son implémentation a été réalisée au dessus du protocole d'interaction. Un nouveau concept d'interface tangible reconfigurable pour des interactions en mono ou multi-utilisateurs est également proposée. Cette interface constitue une solution pour la manipulation d'objets virtuels 3D en approximant leur forme. En effet, l'interface tangible reconfigurable, nommée RTD, propose un maillage physique reconfigurable constitué de points de manipulation à placer sur un objet virtuel, tels des points d'accroche. Ce maillage de points esquisse ainsi l'objet à manipuler. Deux sortes de RTD sont illustrées dans cette thèse. Une première sorte est de forme triangulaire. Elle est nommée RTD-3 et comporte donc trois points de manipulation. Les expérimentations effectuées montrent une nette préférence des utilisateurs envers l'usage de cette technique plutôt que celui des techniques classiques de la réalité virtuelle telles que la moyenne de mouvements et la séparation des degrés de liberté selon les utilisateurs. Une deuxième sorte de RTD comporte quatre points de manipulation et se trouve sous deux versions. Le RTD-4 plan place ses quatre points sur un plan et permet d'obtenir un quadrilatère. Le RTD-4 non-plan dispose en ses quatre points de manipulation d'articulations permettant d'obtenir un tétraèdre. Une forme 3D pour le RTD devrait conduire à une meilleure correspondance entre la forme du RTD et la forme de l'objet virtuel à manipuler.

Mots clés: Interactions collaboratives 3D; Environnements virtuels; Réalité virtuelle; RV; IHM; I3D; 3D Collaborative Interactions; Virtuel Reality; Virtual Environments; VR; GUI; 3DI

Domaines: Interface homme-machine [cs.HC]; Génie logiciel [cs.SE]

Laurent Aguerreche. Partage d'interactions en environnements virtuels : de nouvelles techniques collaboratives basées sur un protocole de dialogue générique. Interface homme-machine [cs.HC]. INSA de Rennes, 2010. Français. ⟨NNT : ⟩. ⟨tel-00514269v2⟩