Tutorial on statistical learning

Fondamentaux de l'apprentissage statistique

Sylvain Arlot (1, 2)

1 SELECT - Model selection in statistical learning
2 LMO - Laboratoire de Mathématiques d'Orsay

This text is a tutorial on supervised statistical learning, from the mathematical point of view. We describe the general prediction problem and the two key examples of regression and binary classification. Then, we study two kinds of learning rules: empirical risk minimizers, which naturally lead to convex risks in classification, and local averaging rules, for which a universal consistency result can be obtained. Finally, we identify the limits of learning in order to underline its challenges. The text ends with some useful probabilistic tools and some exercises.

Ce texte présente les bases de l'apprentissage statistique supervisé, sous un angle mathématique. On décrit le problème général de prévision, puis les deux exemples fondamentaux que sont la régression et la classification (ou discrimination) binaire. Ensuite, on étudie deux grandes familles de règles d'apprentissage: la minimisation du risque empirique, qui amène naturellement à la question de la convexification du risque de classification, et les règles par moyenne locale qui permettent d'énoncer un résultat de consistance universelle. Enfin, on identifie les limites de l'apprentissage pour mieux en dégager les enjeux. Un rappel des outils probabilistes utiles et une série d'exercices complètent les résultats présentés.

Mots clés: no free lunch theorems; classification; partitioning rules; local averaging rules; convex classification risks; Vapnik-Chervonenkis dimension; empirical risk minimization; nearest neighbors; kernel rules; universal consistency; statistical learning; regression

Mots clés: règles d'apprentissage par partition; minimisation du risque empirique; dimension de Vapnik-Chervonenkis; risques convexes en classification; moyenne locale; plus proches voisins; estimateurs à noyau; consistance universelle; on n'a rien sans rien; apprentissage statistique

Domaines: Statistiques [math.ST]; Machine Learning [stat.ML]; Théorie [stat.TH]

Sylvain Arlot. Fondamentaux de l'apprentissage statistique. Myriam Maumy-Bertrand; Gilbert Saporta; Christine Thomas-Agnan. Apprentissage statistique et donn\'ees massives, Editions Technip, 2018, 9782710811824. ⟨hal-01485506⟩