3D-Aware Ellipse Prediction for Object-Based Camera Pose Estimation

Matthieu Zins (1) , Gilles Simon (1) , Marie-Odile Berger (1)

1 TANGRAM - Recalage visuel avec des modèles physiquement réalistes

In this paper, we propose a method for coarse camera pose computation which is robust to viewing conditions and does not require a detailed model of the scene. This method meets the growing need of easy deployment of robotics or augmented reality applications in any environments. Previous works have shown that abstracting the geometry of a scene of objects by an ellipsoid cloud allows to compute the camera pose accurately enough for various application needs. Though promising, these approaches use the ellipses inscribed in the detection boxes as an approximation of the imaged objects. In this paper, we go one step further and propose a learning-based method which detects improved elliptic approximations of objects which are coherent with the 3D ellipsoid in terms of perspective projection. Experiments prove that the accuracy of the computed pose signi-ficantly increases thanks to our method.

Dans cet article, nous proposons une méthode de calcul de pose de caméra qui est robuste aux conditions d'observation et ne nécessite pas de modèle détaillé de la scène. Cette méthode répond aux besoins croissants d'un déploiement facile pour des applications de robotique ou de réalité augmentée. Des travaux antérieurs ont montré que l'abstraction de la géométrie d'une scène d'objets par un nuage d'ellipsoïdes permet d'estimer la pose de la caméra avec une précision suffisante pour diverses applications. Bien que prometteuses, ces approches utilisent les ellipses inscrites dans les boîtes de détection comme une approximation des objets imagés. Nous allons plus loin et proposons une méthode basée sur l'apprentissage qui détecte des approximations elliptiques améliorées des objets, cohérentes avec la projection de leur ellipsoïde 3D. Les expériences montrent que la précision de la pose calculée augmente de manière significative grâce à notre méthode.

Mots clés: Camera pose; object detection; ellipse; ellipsoid

Mots clés: détection d'objets; localisation visuelle; Pose de caméra; ellipse; ellipsoïde

Domaines: Informatique [cs]; Vision par ordinateur et reconnaissance de formes [cs.CV]

Matthieu Zins, Gilles Simon, Marie-Odile Berger. 3D-Aware Ellipse Prediction for Object-Based Camera Pose Estimation. ORASIS 2021 - 18èmes journées francophones des jeunes chercheurs en vision par ordinateur, Centre National de la Recherche Scientifique [CNRS], Sep 2021, Saint Ferréol, France. ⟨hal-03339617⟩