Interprétation des énoncés langue+geste en situation de dialogue homme-machine.
Résumé
La mise en œuvre de systèmes de dialogue homme-machine nécessite, de façon primordiale, de définir une composante référentielle qui puisse prendre en compte l'ensemble des formes référentielles qu'un locuteur risque spontanément d'exprimer. Une telle composante s'inscrit naturellement dans la continuité des travaux menés depuis une quinzaine d'année sur le traitement spécifique de l'anaphore dans les systèmes de compréhension du langage naturel. Cependant, la situation est encore plus complexe si l'on considère une interaction homme-machine où l'échange n'est plus seulement verbal, mais s'ancre sur une présentation graphique de la tâche en cours de réalisation. A un traitement des anaphoriques, il est nécessaire d'ajouter les éventuelles références déictiques, qui peuvent prendre la forme soit d'expressions spatiales, soit d'expressions co-gestuelles dans le cadre de dialogues véritablement multimodaux. L'objectif de notre présentation sera de détailler les différents facteurs qui interviennent dans la compréhension de cette dernière catégorie d'expressions. Nous verrons que la langue sert bien sûr de pivot à l'ensemble du processus d'analyse, mais qu'il est aussi nécessaire de faire intervenir des informations précises concernant la perception visuelle et conceptuelle qu'a l'utilisateur de l'environnement graphique qui lui est présenté. Nous montrerons, en illustrant l'exposé d'exemples réels de dialogues finalisés, quelles sont les pistes de recherche à suivre pour combiner efficacement les différentes sources d'information, ainsi que les méthodes d'analyse du geste à considérer.
Domaines
Informatique et langage [cs.CL]
Origine : Fichiers produits par l'(les) auteur(s)
Loading...