Should penalized least squares regression be interpreted as Maximum A Posteriori estimation?

Rémi Gribonval (1)

1 METISS - Speech and sound data modeling and processing

Penalized least squares regression is often used for signal denoising and inverse problems, and is commonly interpreted in a Bayesian framework as a Maximum A Posteriori (MAP) estimator, the penalty function being the negative logarithm of the prior. For example, the widely used quadratic program (with an $\ell^1$ penalty) associated to the LASSO / Basis Pursuit Denoising is very often considered as MAP estimation under a Laplacian prior in the context of additive white Gaussian noise (AWGN) reduction. This paper highlights the fact that, while this is {\em one} possible Bayesian interpretation, there can be other equally acceptable Bayesian interpretations. Therefore, solving a penalized least squares regression problem with penalty $\phi(x)$ need not be interpreted as assuming a prior $C\cdot \exp(-\phi(x))$ and using the MAP estimator. In particular, it is shown that for {\em any} prior $P_X$, the minimum mean square error (MMSE) estimator is the solution of a penalized least square problem with some penalty $\phi(x)$, which can be interpreted as the MAP estimator with the prior $C \cdot \exp(-\phi(x))$. Vice-versa, for {\em certain} penalties $\phi(x)$, the solution of the penalized least squares problem is indeed the MMSE estimator, with a certain prior $P_X$. In general $dP_X(x) \neq C \cdot \exp(-\phi(x))dx$.

La régression aux moindres carrés pénalisée est souvent utilisée dans le cadre du débruitage de signaux et des problèmes inverses, où elle est communément interprétée comme un estimateur au Maximum A Posteriori (MAP), la fonction de pénalité étant alors liée au logarithme de la probabilité {\em a priori}. Par exemple, le programme quadratique (avec pénalité $\ell^1$) associé au {\em Basis Pursuit Denoising} / LASSO, qui est très largement utilisé en traitement du signal et de l'image, est souvent considéré comme un estimateur MAP avec a priori Laplacien dans le contexte d'un bruit additif blanc et Gaussien. Cet article met en lumière le fait que cette interprétation Bayesienne, bien que possible, n'est pas unique ni nécessairement fondée. Ainsi, la résolution d'un problème de régression aux moindres carrés avec un pénalité $\phi(x)$ n'a pas vocation à être systématiquement interprétée comme un estimateur MAP avec probabilité a priori $C \cdot \exp(-\phi(x))$. En particulier, on montre que pour {\em toute} loi a priori $P_X$, l'estimateur d' erreur quadratique moyenne minimale (EQMM) est la solution d'un problème de régression aux moindres carrés pénalisé avec une fonction de pénalité bien choisie $\phi(x)$, et peut dont être également interprété comme l'estimateur MAP avec a priori $C \cdot \exp(-\phi(x))$. Vice-versa, pour {\em certaines} pénalités $\phi(x)$, la solution du problème aux moindres carrés pénalisé est de fait également l'estimateur EQMM, avec une loi a priori $P_X$ bien choisie. En général, $dP_X(x) \neq C \cdot \exp(-\phi(x))dx$.

Mots clés: Bayesian estimation; Maximum A Posteriori; Minimum Mean Square Error; MAP; MMSE; penalized least squares regression; LASSO; Basis Pursuit; nonconvex optimization; proximity operator

Domaines: Traitement du signal et de l'image [eess.SP]; Statistiques [math.ST]; Théorie [stat.TH]; Traitement du signal et de l'image [eess.SP]

Rémi Gribonval. Should penalized least squares regression be interpreted as Maximum A Posteriori estimation?. IEEE Transactions on Signal Processing, 2011, 59 (5), pp.2405-2410. ⟨10.1109/TSP.2011.2107908⟩. ⟨inria-00486840v4⟩