A sparse variable selection procedure in model-based clustering

Caroline Meynet (1) , Cathy Maugis-Rabusseau (2)

1 LM-Orsay - Laboratoire de Mathématiques d'Orsay
2 IMT - Institut de Mathématiques de Toulouse UMR5219

Au vu de l'augmentation du nombre de jeux de données de grande dimension, la sélection de variables pour la classification non supervisée est un enjeu important. Dans le cadre de la classification par mélanges gaussiens, nous reformulons le problème de sélection de variables en un problème général de sélection de modèle. Dans un premier temps, notre procédure consiste à construire une sous-collection de modèles grâce à une méthode de régularisation l1. Puis, l'estimateur du maximum de vraisemblance est déterminé via un algorithme EM pour chaque modèle. Enfin un critère pénalisé non asymptotique est proposé pour sélectionner à la fois le nombre de composants du mélange et l'ensemble des variables informatives pour la classification. D'un point de vue théorique, un théorème général de sélection de modèles dans le cadre de l'estimation par maximum de vraisemblance avec une collection aléatoire de modèles est établi. Il permet en particulier de justifier la forme de la pénalité de notre critère, forme qui dépend de la complexité de la collection de modèles. En pratique, ce critère est calibré grâce à la méthode dite de l'heuristique de pente. Cette procédure est illustrée sur deux jeux de données simulées. Finalement, une extension, associée à une modélisation plus générale des variables non informatives pour la classification, est proposée.

Mots clés: Variable selection; Gaussian mixture clustering; Non asymptotic penalized criterion; l1-regularization method; Maximum likelihood estimator.; Maximum likelihood estimator

Domaines: Statistiques [math.ST]; Théorie [stat.TH]

Caroline Meynet, Cathy Maugis-Rabusseau. A sparse variable selection procedure in model-based clustering. [Research Report] 2012. ⟨hal-00734316⟩