A unified direct approach for visual servoing and visual tracking using mutual information
Méthode unifiée de suivi et d'asservissement visuels basée sur l'information mutuelle
Résumé
In this thesis, we address the visual tracking and visual servoing problems, that are crucial in the robot vision domain. With the expansion of potential applications (robot control, augmented reality,...), the robustness and accuracy of the algorithms becomes one major issue. The classical tracking and servoing methods remains mainly build on the observation of particular geometrical features in the image. Since this solution does not takes advantage of the full information provided by the image, new techniques called direct approaches have been proposed. Nevertheless, the existing direct methods are most of the time build directly on the pixel intensities of the images that are sensitive to appearance variations such as when the illumination condition are changing. As a result, their robustness is limited to nominal conditions. To overcome this problem, we propose a solution that is build no longer build directly on the intensities but on the information contained in the images. An approach is proposed to create a unified solution, practical for both the tracking and servoing problem. Several tracking experiments validate the robustness and accuracy of the proposed method compared to the existing ones. The illustrated applications are various with localization, face tracking, mosaicing and augmented reality. Similarly, the mutual information based visual servoing approach is validated though many experiments on a six dof gantry robot and also on a non-holonomic autonomous vehicle.
Dans cette thèse, nous traitons les problèmes d'asservissement et de suivi visuel, qui sont essentiels dans le domaine de la vision robotique. Leur robustesse ainsi que leur précision deviennent des enjeux majeurs. Les techniques classiques sont principalement basées sur l'observation de primitives géométriques dans l'image. Ces primitives ne prennent néanmoins pas compte de toute l'information présente dans les images. C'est pour cette raison que de nouvelles approches, dites approches directes, ont vu le jour. Un inconvénient des méthodes directes actuelles vient du fait qu'elles sont centrées sur l'observation des intensités lumineuses des images qui sont fortement sensibles aux changements d'apparence qui peuvent survenir, par exemple, lors de modification de l'illumination ou occultation. Ceci a pour effet de rendre l'application de ces techniques limitée à des conditions nominales d'utilisation. Pour régler ce problème, nous proposons une solution qui n'est plus directement basée sur les intensités lumineuses mais sur l'information contenue dans les images. Nous montrons que la maximisation de cette information permet de créer une solution unifiée pour résoudre des tâches de suivi et d'asservissement visuel. De nombreuses expériences de suivi valident la robustesse et la précision de la technique proposée dans des applications variées en passant par le suivi de visages, la localisation, la construction de mosaïques et la réalité augmentée. La méthode d'asservissement visuel reposant sur l'information mutuelle est également validée à l'aide d'une plateforme contenant un robot cartésien à six degrés de liberté ainsi qu'un véhicule autonome non-holonome.
Loading...