Empirical Risk Minimization with Relative Entropy Regularization
Minimisation du Risque Empirique avec Régularisation par l’Entropie Relative
Résumé
The empirical risk minimization (ERM) problem with relative entropy regularization (ERM-RER) is investigated under the assumption that the reference measure is a $\sigma$-finite measure, and not necessarily a probability measure. Under this assumption, which leads to a generalization of the ERM-RER problem allowing a larger degree of flexibility for incorporating prior knowledge, numerous relevant properties are stated. Among these properties, the solution to this problem, if it exists, is shown to be a unique probability measure, mutually absolutely continuous with the reference measure. Such a solution exhibits a probably-approximately-correct guarantee for the ERM problem independently of whether the latter possesses a solution. For a fixed dataset and under a specific condition, the empirical risk is shown to be a sub-Gaussian random variable when the models are sampled from the solution to the ERM-RER problem. The generalization capabilities of the solution to the ERM-RER problem (the Gibbs algorithm) are studied via the sensitivity of the expected empirical risk to deviations from such a solution towards alternative probability measures. Finally, an interesting connection between sensitivity, generalization error, and lautum information is established.
Le problème de minimisation du risque empirique (ERM) avec régularisation d'entropie relative (ERM-RER) est étudié sous l'hypothèse que la mesure de référence est une mesure $\sigma$-finie, et pas nécessairement une mesure de probabilité. Sous cette hypothèse, qui conduit à une généralisation du problème ERM-RER permettant une plus grande flexibilité pour l'incorporation des connaissances antérieures, de nombreuses propriétés pertinentes sont énoncées. Parmi ces propriétés, la solution à ce problème, si elle existe, se révèle être une mesure de probabilité unique, mutuellement absolument continue avec la mesure de référence. Une telle solution présente une garantie probablement-approximativement-correcte pour le problème ERM indépendamment du fait que ce dernier possède ou non une solution. Pour un ensemble de données fixe, et sous une condition particulière, le risque empirique s'avère être une variable aléatoire sous-gaussienne lorsque les modèles sont échantillonnés à partir de la solution au problème ERM-RER. Les capacités de généralisation de la solution au problème ERM-RER (l'algorithme de Gibbs) sont étudiées via la sensibilité de la valeur espérée du risque empirique aux déviations d'une telle solution vers des mesures de probabilité alternatives. Enfin, un lien intéressant entre la sensibilité, l'erreur de généralisation et l'information lautum est établi.
Origine : Fichiers produits par l'(les) auteur(s)
