Implementation of the Gibbs sampler for the latent block model

Mise en oeuvre de l'échantillonneur de Gibbs pour le modèle des blocs latents

Vincent Brault (1, 2) , Gilles Celeux (2) , Christine Keribin (2, 1)

1 LM-Orsay - Laboratoire de Mathématiques d'Orsay
2 SELECT - Model selection in statistical learning

Mixture models can be used to deal with the simultaneous clustering of a set of objects and a set of variables. The latent block model defines a distribution for each combinaison of an object cluster and a variable cluster, and the data is supposed to be independent, given the object and the variable clusters. But the factorization of the joint distribution of the labels, conditionally to the observed data, is not tractable, and the E-step of the EM algorithm cannot be performed. To solve this problem, the variational EM has been proposed by Govaert and Nadif (2008), the SEM algorithm by Keribin and al (2010) and the V-Bayes algorithm by Keribin and al (2012).In theory, the Gibbs sampler (Keribin et al (2012)) samples the exact a posteriori law while some algorithms use an approximation. In practice, the problem is to determine when the chain begins to be stationary. In this presentation, we study the Brooks-Gelman statistic (1998) as stop criterion for the latent block model and propose some improvement to decrease the convergence period.

Les modèles de mélanges peuvent être utilisés pour résoudre le problème de la classification non supervisée simultanée d'un ensemble d'objets et d'un ensemble de variables. Le modèle des blocs latents définit une loi pour chaque croisement de classe d'objets et de classe de variables, et les observations sont supposées indépendantes conditionnellement au choix des classes d'objets et de variables. Mais il n'est pas possible de factoriser la loi jointe conditionnelle des labels rendant impossible le calcul de l'étape d'estimation de l'algorithme EM. Différents algorithmes existent pour contourner cette difficulté, notamment VEM, un EM variationnel, proposé par Govaert et Nadif (2008), l'algorithme SEM de Keribin et al (2010) ou encore d'un point de vue bayésien, l'algorithme V-Bayes proposé par Keribin et al (2012).D'un point de vue théorique, l'échantillonneur de Gibbs (Keribin et al (2012)) permet de simuler la loi a posteriori exacte alors que d'autres algorithmes sont obligés de faire des approximations. D'un point de vue pratique, la question de l'atteinte de la stationnarité pour la chaîne générée en est un point délicat. Dans cet exposé, nous étudions la statistique de Brooks-Gelman (1998) comme critère d'arrêt pour le modèle des blocs latents et en proposons des améliorations pour diminuer le temps de convergence.

Mots clés: Data mining; Gibbs sampling; Bayesian methods; Co-clustering

Mots clés: Analyse de données et data mining; Échantillonnage de Gibbs; Statistique bayésienne; Classification croisée

Domaines: Statistiques [math.ST]

Vincent Brault, Gilles Celeux, Christine Keribin. Mise en oeuvre de l'échantillonneur de Gibbs pour le modèle des blocs latents. 46èmes journées de statistique de la SFdS, SFdS, Jun 2014, Rennes, France. ⟨hal-01090349⟩