Mixture of expert posterior surrogates for approximate Bayesian computation

Florence Forbes (1) , Hien Duy Nguyen (2) , Trungtin Nguyen (1) , Julyan Arbel (1)

1 STATIFY - Modèles statistiques bayésiens et des valeurs extrêmes pour données structurées et de grande dimension
2 UQ [All campuses : Brisbane, Dutton Park Gatton, Herston, St Lucia and other locations] - The University of Queensland

A key ingredient in approximate Bayesian computation (ABC) procedures is the choice of a discrepancy that describes how different the simulated and observed data are, often based on a set of summary statistics when the data cannot be compared directly. Unless discrepancies and summaries are available from expert or prior knowledge, which seldom occurs, they have to be chosen and this can affect the quality of approximations. The choice between discrepancies is an active research topic, which has mainly considered data discrepancies requiring samples of observations or distances between summary statistics. In this work, we introduce a preliminary learning step in which surrogate posteriors are built using a specific instance of a Mixture of Experts model. These surrogate posteriors are then used in place of summary statistics and compared using metrics between distributions in place of data discrepancies. The resulting ABC quasi-posterior distribution is shown to converge to the true one, under standard conditions. Experiments show that our approach is particularly useful when the posterior is multimodal.

Les procédures de calcul bayésien approché (ABC) reposent sur l'évaluation de l'écart entre les données simulées et les données observées. Cet écart est souvent évalué en comparant des statistiques résumées plutôt que directement les données. Le choix d'une distance et de résumés appropriés est donc une étape cruciale qui peut affecter la qualité des approximations. Dans ce travail, nous introduisons une étape d'apprentissage préliminaire dans laquelle des lois de substitution, issues d'un modèle de mélange d'experts, sont construites pour approximer les lois a posteriori visées. Ces lois a posteriori de substitution sont ensuite utilisées à la place des statistiques résumées et comparées à l'aide de métriques entre distributions. On montre que la quasi-loi a posteriori résultante converge vers la vraie loi a posteriori, sous des conditions standard. Des expériences montrent que notre approche est particulièrement performante lorsque la loi a posteriori est multimodale.

Mots clés: multimodal posterior distributions; surrogate models; Wasserstein distance; summary statistics; Gaussian mixtures; Approximate Bayesian computation

Mots clés: lois a posteriori mulitmodales; Distance de Wasserstein; modèles de substitution; statistiques résumées; Mélanges d'expert; Approximate Bayesian computation

Domaines: Machine Learning [stat.ML]; Théorie [stat.TH]; Méthodologie [stat.ME]; Statistiques [math.ST]; Intelligence artificielle [cs.AI]

Florence Forbes, Hien Duy Nguyen, Trungtin Nguyen, Julyan Arbel. Mixture of expert posterior surrogates for approximate Bayesian computation. SFdS 2022 - 53èmes Journées de Statistique de la Société Française de Statistique, Jun 2022, Lyon, France. pp.1-6. ⟨hal-03679688⟩