Architectures pour la stéréovision passive dense temps réel : application à la stéréo-endoscopie
Résumé
The emergence of medical robotics in laparoscopic surgery intended to automate and to improve the precision of the interventions requires the application of tools and intelligent miniaturized sensors to which real-time 3D vision belongs. Although the current 3D vision systems represent certain interest for precise laparoscopic surgical manipulations, they have the inconvenience to give a qualitative 3D image rather than quantitative, which requires specific equipment making the surgical act uncomfortable and prevents the coupling with a computer in the computer aided surgery. We have developed in the internal project PICASSO (Platform of Integration of CAMERAS multiSenOrielles) the scientific interests in which concern the adaptation of integrated sensors, the treatment and the fusion of multi spectral images and a 3D vision device compatible with the execution times of the surgical acts. This system is based on the principle of the human stereoscopy and implements passive dense stereovision algorithms. In this thesis we present massively parallel architectures, implemented in FPGA circuit, and able to supply disparity images at the cadence of 130 trams per second for image resolution of 640x480 pixels. The adopted algorithm is based on the Census correlation with a calculation window of 7x7 pixels. This one was chosen as the performances compared to its simplicity of application and the parallelism possibility. The main objective of this algorithm is to look for, for every point, the correspondence between two images of right and left taken by two different angles of sight to obtain a "disparities map" from which it is possible to reconstruct the 3D scene. To implement this algorithm and hold the "real-time" constraints we've developed architectures in "pipeline" (calculation of means, Census transformation, searching stereo-corresponding points, check right-left, filtering). The architecture steps are described essentially in VHDL language. Finally we are interest ing in the consumption in terms of FPGA resources (memories, macro-cells) according to the wished performances.
L'émergence d'une robotique médicale en chirurgie laparoscopique destinée à automatiser et améliorer la précision des interventions nécessite la mise en Suvre d'outils et capteurs miniaturisés intelligents dont la vision 3D temps réel est un des enjeux. Bien que les systèmes de vision 3D actuels représentent un intérêt certain pour des manipulations chirurgicales endoscopiques précises, ils ont l'inconvénient de donner une image 3D qualitative plutôt que quantitative, laquelle nécessite un appareillage spécifique rendant l'acte chirurgical inconfortable et empêche le couplage avec un calculateur dans le cadre d'une chirurgie assistée. Nous avons développé dans la cadre du projet interne « PICASO » (Plate-forme d'Intégration de CAméras multiSenOrielles) dont les enjeux scientifiques concernent le conditionnement de capteurs intégrés et le traitement et la fusion d'images multi spectrales, un dispositif de vision 3D compatible avec les temps d'exécution des actes chirurgicaux. Ce système est basé sur le principe de la stéréoscopie humaine et met en Suvre des algorithmes de stéréovision passive dense issus de la robotique mobile. Dans cette thèse nous présentons des architectures massivement parallèles, implémentées dans un circuit FPGA, et capables de fournir des images de disparité à la cadence de 130 trames/sec à partir d'images de résolution 640x480 pixels. L'algorithme utilisé est basé sur la corrélation Census avec une fenêtre de calcul de 7 x 7 pixels. Celui-ci a été choisi pour ses performances en regard de sa simplicité de mise en Suvre et la possibilité de paralléliser la plupart des calculs. L'objectif principal de cet algorithme est de rechercher, pour chaque point, la correspondance entre deux images d'entrées (droite et gauche) prises de deux angles de vue différents afin d'obtenir une "carte de disparités" à partir de laquelle il est possible de reconstruire la scène 3D. Pour mettre en Suvre cet algorithme et tenir les contraintes « temps réel » nous avons développé des architectures en « pipeline » (calcul des moyennes, transformation Census, recherche des points stéréo-correspondants, vérification droite-gauche, filtrage...). L'essentiel des différentes parties qui composent l'architecture est décrit en langage VHDL synthétisable. Enfin nous nous sommes intéressés à la consommation en termes de ressources FPGA (mémoires, macro-cellules) en fonction des performances souhaitées.
Loading...