Variational Methods for Multimodal Image Matching

Méthodes Variationnelles pour le Recalage Multimodal

Gerardo Hermosillo Valadez (1)

1 ODYSSEE - Computer and biological vision

During the past few years, the use of the theory of partial differential equations has provided a solid formal approach to image processing and analysis research, and has yielded provably well-posed algorithms within a set of clearly defined hypotheses. These algorithms are the state-of-the-art in a large number of application fields such as image de-noising, segmentation and matching. At the same time, the combination of stochastic and variational approaches has led to powerful algorithms which may also be described in terms of partial differential equations. This is the approach followed in the present work, which studies the problem of dense matching between two images using statistical dissimilarity criteria. Two classes of algorithms are considered, corresponding to these criteria being calculated globally for the entire image, or locally within corresponding regions. In each case, three dissimilarity criteria are studied, defined as the opposite of the following similarity measures: mutual information (well adapted to a general statistical dependence between the grey-level intensities), correlation ratio (adapted to a functional dependence), and cross correlation (adapted to an affine dependence). The minimization of the sum of the dissimilarity term and a regularization term defines, through the associated Euler-Lagrange equations, a set of coupled functional evolution equations. Particular emphasis is put in establishing the conditions under which these evolution equations are well posed, i.e. they have a unique solution. It is shown that the proposed algorithms satisfy these conditions for two classes of linear regularization terms, including one which encourages discontinuities of the solution at the contours of the reference image. The discretization and the numerical implementation of the matching algorithms is discussed in detail and their performance is illustrated through several real and synthetic examples, both with 2D and 3D images. As these examples show, the described algorithms are of interest in applications which do not necessarily involve sensors of multiple modalities. They are also of special interest to the medical imaging community, where data fusion between different imaging sensors often requires correcting for nonlinear distortions.

Depuis quelques années, l'utilisation des équations aux dérivées partielles a pourvu la recherche en traitement d'images d'une approche formelle solide, et a abouti à des algorithmes dont on peut montrer le caractère bien posé, étant donné un ensemble d'hypothèses clairement définies. Ces algorithmes forment l'état de l'art dans beaucoup de domaines d'application tels que le débruitage, la segmentation et la mise en correspondance. En parallèle à ceci, des approches combinant des principes variationnels et stochastiques ont amené à de puissants algorithmes qui peuvent aussi être décrits en termes d'équations aux dérivées partielles. C'est l'approche suivi dans ce travail, où est étudié le problème de mise en correspondance dense entre deux images, en utilisant des critères statistiques de dissemblance. Deux classes d'algorithmes sont considérées, selon que ces critères soient calculés globalement pour toute l'image, ou localement entre des régions correspondantes. Dans chaque cas, trois critères de dissemblance sont étudiés, définis comme l'opposé des critères de ressemblance suivants: information mutuelle (bien adaptée à une dépendance statistique très générale entre les niveaux de gris), rapport de corrélation (adapté à une dépendance fonctionnelle), et corrélation croisée (adaptée à une dépendance affine). La minimisation de la somme du terme de dissemblance et un terme de régularisation définit, à travers les équations d'Euler-Lagrange, un système d'équations fonctionnelles d'évolution. Nous étudions les conditions sous lesquelles ces équations d'évolution sont bien posées, c'est-à-dire ont une solution unique et montrons que les algorithmes proposés satisfont ces conditions pour deux classes d'opérateurs linéaires régularisants, dont une est connue pour encourager des variations rapides de la solution le long des contours de l'image de référence. La performance de ces algorithmes est illustrée à travers plusieurs exemples synthétiques et réels, aussi bien sur des images 2D que 3D. Comme le montrent ces exemples, les algorithmes décrits sont applicables à des problèmes qui ne font pas nécessairement intervenir des capteurs de modalités différentes. Ils sont aussi spécialement intéressants pour la communauté de l'imagerie médicale, où le problème de fusionner des données provenant de différentes modalités d'imagerie nécessite souvent de corriger des distorsions non-linéaires.

Mots clés: Non disponibles

Domaines: Interface homme-machine [cs.HC]

Gerardo Hermosillo Valadez. Variational Methods for Multimodal Image Matching. Human-Computer Interaction [cs.HC]. Université Nice Sophia Antipolis, 2002. English. ⟨NNT : ⟩. ⟨tel-00457459⟩