Agent virtuel signeur - Aide à la communication pour personnes sourdes

Philippe Gorce (1) , Nasser Rezzoug (1) , Alexis Heloir (2) , Sylvie Gibet (2) , Nicolas Courty (2) , Jean-François Kamp (2) , Franck Multon (3, 4) , Catherine Pelachaud (5, 6)

1 HANDIBIO - Laboratoire de Biomodélisation et Ingénierie des Handicaps - EA 4322
2 VALORIA - Laboratoire de Recherche en Informatique et ses Applications de Vannes et Lorient
3 BUNRAKU - Perception, decision and action of real and virtual humans in virtual environments and impact on real environments
4 M2S - Laboratoire Mouvement Sport Santé
5 LTCI - Laboratoire Traitement et Communication de l'Information
6 IUT Montreuil - Institut universitaire technologique de Montreuil

Cet article présente un système permettant de capturer et de structurer une base de connaissance de gestes de la Langue des Signes Française (LSF), et de l'utiliser pour la génération de mouvement d'humanoïde virtuel. On s'intéresse ici plus spécifiquement à la qualité expressive des gestes (quel style de geste : fluide, tendu, énervé), et à ses représentations sémantiques. L'application envisagée est celle d'un humanoïde signeur capable de générer un ensemble de gestes de la LSF. Nous avons constitué une base d'information semi-structurée de gestes capturés comprenant les mouvements corporels, les gestes des bras et des mains ainsi que les mimiques faciales. L'analyse des signaux de cette base d'information nous permet d'extraire des caractéristiques propres à la variabilité des gestes, à la fois d'un point de vue sémantique (segmentation suivant la structure des gestes de la LSF) et d'un point de vue du style d'exécution. Ces caractéristiques sont intégrées dans des modèles de synthèse évalués qualitativement par des personnes sourdes expertes de la LSF, suivant des critères d'intelligibilité et de réalisme des animations produites.

Mots clés: Langue des Signes Française (LSF); humanoïde virtuel; base d'information; synthèse du geste; mimiques faciales; captures

Domaines: Interface homme-machine [cs.HC]; Synthèse d'image et réalité virtuelle [cs.GR]

Philippe Gorce, Nasser Rezzoug, Alexis Heloir, Sylvie Gibet, Nicolas Courty, et al.. Agent virtuel signeur - Aide à la communication pour personnes sourdes. 4ème conférence pour l'essor des technologies d'assistance, Handicap2006, Jun 2006, France. pp. 1-6. ⟨hal-00503082⟩