Reconciling "priors" & "priors" without prejudice? (research report)

Rémi Gribonval (1) , Pierre Machart (1)

1 PANAMA - Parcimonie et Nouveaux Algorithmes pour le Signal et la Modélisation Audio

There are two major routes to address linear inverse problems. Whereas regularization-based approaches build estimators as solutions of penalized regression optimization problems, Bayesian estimators rely on the posterior distribution of the unknown, given some assumed family of priors. While these may seem radically different approaches, recent results have shown that, in the context of additive white Gaussian denoising, the Bayesian conditional mean estimator is always the solution of a penalized regression problem. The contribution of this paper is twofold. First, we extend the additive white Gaussian denoising results to general linear inverse problems with colored Gaussian noise. Second, we characterize conditions under which the penalty function associated to the conditional mean estimator can satisfy certain popular properties such as convexity, separability, and smoothness. This sheds light on some tradeoff between computational efficiency and estimation accuracy in sparse regularization, and draws some connections between Bayesian estimation and proximal optimization.

Il existe deux grandes familles de méthodes pour résoudre les problèmes linéaires inverses. Tandis que les approches faisant appel à la régularisation construisent des estimateurs comme solutions de problèmes de régularisation pénalisée, les estimateurs Bayésiens reposent sur une distribution postérieure de l'inconnue, étant donnée une famille supposée d'a priori. Bien que ces approchent puissent paraître radicalement différentes, des résultats récents ont montré, dans un contexte de débruitage additif Gaussien, que l'estimateur Bayésien d'espérance conditionnelle est toujours la solution d'un problème de régression pénalisée. La contribution de cet article est double. D'une part, nous étendons le résultat valable pour le bruit additif gaussien aux problèmes linéaires inverses, plus généralement, avec un bruit Gaussien coloré. D'autre part, nous caractérisons les conditions sous lesquelles le terme de pénalité associé à l'estimateur d'espérance conditionnelle satisfait certaines propriétés désirables comme la convexité, la séparabilité ou la différentiabilité. Cela permet un éclairage nouveau sur certains compromis existant entre efficacité computationnelle et précision de l'estimation pour la régularisation parcimonieuse, et met à jour certaines connexions entre estimation Bayésienne et optimisation proximale.

Mots clés: linear inverse problems; Bayesian estimation; maximum a posteriori; conditional mean estimation; penalized least squares

Domaines: Apprentissage [cs.LG]

Rémi Gribonval, Pierre Machart. Reconciling "priors" & "priors" without prejudice? (research report). [Research Report] RR-8366, INRIA. 2013. ⟨hal-00862925v2⟩