Sequential learning and prediction : uniform regret bounds and hierarchical time series

Apprentissage et prévision séquentiels : bornes uniformes pour le regret linéaire et séries temporelles hiérarchiques

Malo Huard (1, 2)

1 LMO - Laboratoire de Mathématiques d'Orsay
2 CELESTE - Statistique mathématique et apprentissage

This work presents some theoretical and practical contributions to the prediction of arbitrary sequences. In this domain, forecasting takes place sequentially at the same time as learning. At each step, the model is fitted on the past data in order to predict the next observation. The goal of this model is to make the best possible predictions, i.e. those that minimize their deviations from the observations, which are made a posteriori. Sequential learning methods are evaluated by their regret, which measures how close strategies are to the best possible, known only after all the data is available. In this thesis, we extend the set of weights vectors a method is compared to when doing sequential linear regression. We have adapted an existing algorithm by improving its theoretical guarantees allowing it to be compared to any constant linear combination without restriction on the norm of its mixing weights. A second work consisted in extending sequential forecasting methods when forcasted data is organized in a hierarchy. We tested these hierarchical methods on two practical applications, household power consumption prediction and demand forecasts in e-commerce.

Ce travail présente quelques contributions théoriques et pratiques à la prévision des suites arbitraires. Dans ce domaine, la prévision se déroule séquentiellement en même temps que l'apprentissage. À chaque étape, on ajuste le modèle sur les données passées afin de prévoir la prochaine observation. Le but de ce modèle est de faire les meilleures prévisions possibles, c'est-à-dire celles qui minimisent leurs écarts avec les observations. Les méthodes d'apprentissage séquentielles sont évaluées par leur regret, qui mesure à quelle point une stratégie est proche de la meilleure possible, qui est seulement connue une fois l'ensemble des données disponible. Un des résultats de cette thèse est d'étendre l'ensemble des stratégies auxquels on se compare lorsque l'on fait de la régression linéaire séquentielle. Nous avons adapté un algorithme existant en améliorant ses garanties théoriques pour lui permettre de se comparer à n'importe quelle combinaison linéaire constante sans restriction sur la norme de ses poids de mélange. Un deuxième travail a consisté à étendre les méthodes de prévisions séquentielles lorsque les données à prévoir sont hiérarchiquement organisées. Nous avons testé ces méthodes hiérarchiques sur deux applications pratiques, la prévision de consommation électrique des ménages et la prévision de ventes pour le e-commerce.

Mots clés: Individual sequences; Sequential Learning; Sales predictions; Regret bounds; Hierarchy; Time series

Mots clés: Séries temporelles; Prévisions de ventes; Bornes de regret; Apprentissage séquentiel; Suites individuelles; Hiérarchie

Domaines: Machine Learning [stat.ML]; Apprentissage [cs.LG]; Statistiques [math.ST]

Malo Huard. Apprentissage et prévision séquentiels : bornes uniformes pour le regret linéaire et séries temporelles hiérarchiques. Machine Learning [stat.ML]. Université Paris-Saclay, 2020. Français. ⟨NNT : 2020UPASM009⟩. ⟨tel-02957602v2⟩