Robustness in practical dialogue systems : grounding process modeling and evaluation for misunderstanding management
Robustesse dans les systèmes de dialogue finalisé : modélisation et évaluation du processus d'ancrage pour la gestion de l'incompréhension
Résumé
Dialogue systems in natural language are error-prone. We advocate the resolution of these errors within the collaborative model of Clark & Schaefer (1989) : each participant is willing to reach the mutual understanding by providing evidence he understands his partner's utterances. This raises the problem of recursive acceptance as noted by Traum (1994,1999) but existing models that solve this problem either make important simplifications or are too complex to implement. We propose to consider shared beliefs of understanding in order to guide the grounding process. We implemented the model and made an evaluation of its accuracy within the simulation paradigm. We evaluated wether two systems are able to ground an utterance. This setup allows fine-grained analysis of a wide range of grounding problems. Eventually, the evaluation results show the efficiency of grounding while measuring the gain of understanding.
Les systèmes de dialogue en langue naturelle sont des interfaces de communication homme-machine susceptibles de souffrir de nombreux problèmes d'incompréhension liés à la complexité de la langue. Nous appelons robustesse leur capacité à faire face aux problèmes d'interprétation. La théorie du grounding (ancrage) de Clark & Schaefer (1989) suggère que les participants à un dialogue cherchent à atteindre la compréhension mutuelle en produisant des preuves de leur compréhension et peut alors permettre d'améliorer la robustesse des systèmes. Cette théorie est confrontée toutefois au problème d'acceptation récursive : afin de savoir si une preuve de compréhension a bien été comprise il est nécessaire d'en fournir une preuve de compréhension et on ne peut au final jamais savoir si quelque chose a été correctement compris. Les modélisations informatiques de l'ancrage qui visent à résoudre ce problème font l'objet de plusieurs simplifications ou sont trop complexes à mettre en oeuvre. Nous proposons d'appuyer la modélisation du processus d'ancrage sur la croyance de compréhension des preuves de compréhension, entraînant une coupure de la récursion ainsi que la possibilité d'ancrer à tort un énoncé. Cette modélisation a été implémentée et adjointe à un système d'interprétation symbolique classique (LTAG + logique de description). L'évaluation du système a été réalisée par simulation sur corpus en générant des dialogues d'ancrage de manière artificielle entre deux instances du système. Ce type d'évaluation permet alors d'explorer automatiquement une grande diversité de problèmes d'ancrage. Les résultats obtenus à l'issue de l'évaluation montrent un gain significatif de compréhension et valident en cela l'approche générale.
Loading...