Contributions to the integration of vision and robotics : calibration, localization, and servoing
Contributions à l'intégration vision robotique : calibrage, localisation et asservissement
Résumé
The integration of computer vision with robot control is the concern of this thesis. This integration has many advantages for the interaction of a robotic system with its environment. First, we are interested in the study of calibration methods. Two topics are treated :
i) hand/eye calibration and
ii) object pose.
For the first, we developed a nonlinear method that seems to be very robust with respect to measurement errors; for the second, we developed an iterative para-perspective pose computation method that can be used in real-time applications.
Next we are interested in visual servo control and extend the well known method "image-based servoing" for a camera that is not attached to the robot being serv(o)(e)d. When performing relative positioning, we show that the computation of the goal features do not depend on an explicit estimate of the camera intrinsic or extrinsic parameters. For a given task, the robot motions are computed in order to reduce a 2D error to zero. The central issue of any image-based servoing method is the estimation of the image Jacobian. We show the advantage of using an exact image Jacobian with respect to the dynamic behaviour of the servoing process. This control method is used in automatic object grasping with a 6 DOF robot manipulator. All the methods presented in this thesis are validated with real and simulated data.
i) hand/eye calibration and
ii) object pose.
For the first, we developed a nonlinear method that seems to be very robust with respect to measurement errors; for the second, we developed an iterative para-perspective pose computation method that can be used in real-time applications.
Next we are interested in visual servo control and extend the well known method "image-based servoing" for a camera that is not attached to the robot being serv(o)(e)d. When performing relative positioning, we show that the computation of the goal features do not depend on an explicit estimate of the camera intrinsic or extrinsic parameters. For a given task, the robot motions are computed in order to reduce a 2D error to zero. The central issue of any image-based servoing method is the estimation of the image Jacobian. We show the advantage of using an exact image Jacobian with respect to the dynamic behaviour of the servoing process. This control method is used in automatic object grasping with a 6 DOF robot manipulator. All the methods presented in this thesis are validated with real and simulated data.
Cette thèse concerne principalement l'intégration des fonctionnalités d'un système de vision avec celles d'un système robotique. Cette intégration apporte beaucoup d'avantages pour l'interaction d'un robot avec son environnement. Dans un premier temps, nous nous intéressons aux aspects de modélisation. Deux sujets liés à cette modélisation ont été traités :
i) le calibrage caméra/pince et
ii) la localisation caméra/objet.
Pour le premier, nous proposons une méthode de calibrage non linéaire qui s'avère robuste en présence des erreurs de mesure ; pour le second, nous proposons une méthode linéaire très rapide et bien adaptée aux applications temps-réel puisqu'elle est basée sur des approximations successives par une projection para-perspective.
Dans un deuxième temps, nous nous intéressons au contrôle visuel de robots. Nous adaptons la méthode "commande référencée capteur" à une caméra indépendante du robot asservi. De plus, dans le cas d'un positionnement relatif, nous montrons que le calcul de la position de référence ne dépend pas de l'estimation explicite des paramètres intrinsèques et extrinsèques de la caméra. Pour une tâche donnée, le problème de la commande peut alors se traduire sous la forme d'une régulation d'une erreur dans l'image. Nous montrons que la localisation temps-réel caméra/robot améliore le comportement dynamique de l'asservissement. Cette méthode de contrôle a été expérimentée dans la réalisation de tâches de saisie avec un robot manipulateur à six degrés de liberté. Toutes les méthodes proposées sont validées avec des mesures réelles et simulées.
i) le calibrage caméra/pince et
ii) la localisation caméra/objet.
Pour le premier, nous proposons une méthode de calibrage non linéaire qui s'avère robuste en présence des erreurs de mesure ; pour le second, nous proposons une méthode linéaire très rapide et bien adaptée aux applications temps-réel puisqu'elle est basée sur des approximations successives par une projection para-perspective.
Dans un deuxième temps, nous nous intéressons au contrôle visuel de robots. Nous adaptons la méthode "commande référencée capteur" à une caméra indépendante du robot asservi. De plus, dans le cas d'un positionnement relatif, nous montrons que le calcul de la position de référence ne dépend pas de l'estimation explicite des paramètres intrinsèques et extrinsèques de la caméra. Pour une tâche donnée, le problème de la commande peut alors se traduire sous la forme d'une régulation d'une erreur dans l'image. Nous montrons que la localisation temps-réel caméra/robot améliore le comportement dynamique de l'asservissement. Cette méthode de contrôle a été expérimentée dans la réalisation de tâches de saisie avec un robot manipulateur à six degrés de liberté. Toutes les méthodes proposées sont validées avec des mesures réelles et simulées.