Acquisition multimodale de données articulatoires

Michael Aron (1) , Marie-Odile Berger (1) , Erwan Kerrien (1) , Yves Laprie (2)

1 MAGRIT - Visual Augmentation of Complex Environments
2 PAROLE - Analysis, perception and recognition of speech

Ce chapitre décrit le système d'acquisition multimodale de données articulatoires élaboré dans le cadre du projet européen ASPI. Ce système intègre un échographe pour obtenir les contours de la langue, un dispositif de localisation électromagnétique pour localiser la sonde et l'apex de langue et des caméras de stréovision pour suivre les marqueurs peints sur le visage. Comme les concepteurs du système Hocus, nous avons choisi de ne pas imposer de contention au locuteur. Ce chapitre décrit la configuration du sytème et les procédures de synchronisation et de calibrage qui permettent de fusionner les informations sur les articulateurs disponibles dans les images et les mesures electromagnétiques. Diverses applications de ce sytème sont proposées, notamment l'étude de la variabilité des articulateurs durant la phonation de sons tenus.

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]

Michael Aron, Marie-Odile Berger, Erwan Kerrien, Yves Laprie. Acquisition multimodale de données articulatoires. Alain Marchal et Christian Cavé. L'imagerie médicale pour l'étude de la parole, Hermes Science Publications, pp.175-196, 2009, Traité Cognition et Traitement de l'Information, IC2, 978-2-7462-2235-9. ⟨inria-00429585⟩