Une formulation bayésienne du codage antiparcimonieux
Résumé
For sake of robustness, anti-sparse coding aims at spreading the information uniformly over representation coefficients and can be naturally expressed by an ∞-norm regularization. This article discusses a Bayesian formulation of the anti-sparse coding problem, relying on a new probability distribution called democratic distribution. Once elected as a prior distribution in a linear Gaussian inverse problem, inference can be conducted using a Gibbs sampling scheme. This paper discusses an alternative choice of prior for the nuisance parameters and proposes a comparison between two scalable inference schemes based on recent developements in Monte Carlo methods. These findings are illustrated by simulations on synthetic data, and compared with the recent deterministic variational FITRA algorithm.
Dans un but de robustesse, un codage antiparcimonieux répartit uniformément l'information d'un signal sur toutes les compo-santes de sa représentation. La recherche d'un tel codage s'exprime naturellement sous la forme d'un problème variationnel impliquant une régularisation de type ∞. Dans cet article une formulation bayésienne du problème est proposée, impliquant une nouvelle loi de probabilité, la loi démocratique, qui pénalise les fortes amplitudes. Cette distribution est choisie comme loi a priori sur les coefficients de représentation, couplée avec une vraisemblance gaussienne. Les estimateurs bayésiens des coefficients de représentation peuvent être approchés à l'aide d'un échantillonneur de Gibbs. Cette méthode passe cependant difficilement à l'échelle et un algorithme de Monte Carlo proximal a été proposé. On discute une nouvelle façon de choisir et régler la loi a priori sur les paramètres de nuisance. Deux simulations numériques permettent de valider le réglage des hyperparamètres et la recherche du paramètre de régularisation.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...