Vers des architectures acteur-critique neuronales efficaces en données

Matthieu Zimmer (1) , Yann Boniface (1) , Alain Dutech (2)

1 UL - Université de Lorraine
2 MAIA - Autonomous intelligent machine

Un nouvel algorithme d'apprentissage par renforcement, traitant à la fois des espaces conti-nus d'états et d'actions, est proposé. Il ne nécessite pas de connaître a priori des états buts ou de bonnes trajectoires pour fonctionner. Les besoins en connaissances expertes sur le domaine appliqué sont mi-nimales grâce à l'emploi d'estimateur non-linéaire : des réseaux de neurones. Ce nouvel algorithme est on-policy, hors-ligne, sans modèle de l'environnement. Il produit des politiques stationnaires en temps discret et déterministes en maximisant la somme actualisée des récompenses. Des résultats ex-périmentaux montrant la bonne performance de l'algorithme sont présentés sur deux environnements déterministes : acrobot et cartpole.

Mots clés: Apprentissage par renforcement; Acteur-Critique; Espaces continus

Domaines: Informatique [cs]

Matthieu Zimmer, Yann Boniface, Alain Dutech. Vers des architectures acteur-critique neuronales efficaces en données. Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la conduite de systèmes, Jul 2016, Grenoble, France. ⟨hal-01344905⟩