Average performance of the approximation in a dictionary using an l0 objective

Performance moyenne de l’approximation la plus parcimonieuse avec un dictionnaire.

François Malgouyres (1) , Mila Nikolova (2)

1 IMT - Institut de Mathématiques de Toulouse UMR5219
2 CMLA - Centre de Mathématiques et de Leurs Applications

We consider the minimization of the number of non-zero coefficients (the l 0 "norm") of the representation of a data set in a general dictionary under a fidelity constraint. This (nonconvex) optimization problem leads to the sparsest approximation. The average performance of the model consists in the probability (on the data) to obtain a K-sparse solution—involving at most K nonzero components—from data uniformly distributed on a domain. These probabilities are expressed in terms of the parameters of the model and the accuracy of the approximation. We comment the obtained formulas and give a simulation

Nous étudions la minimisation du nombre de coefficients non-nuls (la « norme » 0) de la représentation d'un ensemble de données dans un dictionnaire arbitraire sous une contrainte de fidélité. Ce problème d'optimisation (non-convexe) mène naturellement aux représentations les plus parcimonieuses. La performance moyenne du modèle est décrite par la probablilité que les données mènent à une solution K-parcimonieuse – contenant pas plus de K composantes non-nulles – en supposant que les données sont uniformément distribuées sur un domaine. Ces probabilités s'expriment en fonction des paramètres du modèle et de la précision de l'approximation. Nous commentons les formules obtenues et fournissons une illustration.

Domaines: Optimisation et contrôle [math.OC]

François Malgouyres, Mila Nikolova. Average performance of the approximation in a dictionary using an l0 objective. Comptes Rendus. Mathématique, 2009, 347 (9-10), pp.565-570. ⟨10.1016/j.crma.2009.02.026⟩. ⟨hal-01486812⟩