BRL Quasi-Optimal à l'aide de Transitions Locales Optimistes

Mauricio Araya (1) , Vincent Thomas (1) , Olivier Buffet (1)

1 MAIA - Autonomous intelligent machine

L'apprentissage par renforcement bayésien basé modèle (BRL) permet une formalisation saine du problème consistant à agir optimalement face à un environnement inconnu, c'est-à-dire en évitant le dilemme exploration-exploitation. Toutefois, les algorithmes s'attaquant explicitement au BRL souffrent d'une telle explosion combinatoire qu'un grand nombre de travaux repose sur des algorithmes heuristiques. Cet article introduit BOLT, un algorithme heuristique simple et (presque) déterministe pour le BRL qui est optimiste vis à vis de la fonction de transition. Nous analysons la complexité d'échantillon de BOLT et montrons que, pour certains paramètres, l'algorithme est quasi-optimal au sens bayésien avec une grande probabilité. Puis, des résultats expérimentaux mettent en valeur les principales différences entre cette méthode et des travaux antérieurs.

Domaines: Intelligence artificielle [cs.AI]

Mauricio Araya, Vincent Thomas, Olivier Buffet. BRL Quasi-Optimal à l'aide de Transitions Locales Optimistes. Journées Francophones sur la planification, la décision et l'apprentissage pour le contrôle des systèmes - JFPDA 2012, May 2012, Villers-lès-Nancy, France. 16 p. ⟨hal-00735602⟩