Apprentissage de représentation et auto-organisation modulaire pour un agent autonome

Bruno Scherrer (1)

1 MAIA - Autonomous intelligent machine

This thesis studies the use of connectionist algorithms for solving reinforcement learning problems. Connectionist algorithms are inspired by the way information is processed by the brain: they rely on a large network of highly interconnected simple units, which process numerical information in a distributed and massively parallel way. Reinforcement learning is a computational theory that describes the interaction between an agent and an environment: it enables to precisely formalize goal-directed learning from interaction.

We have considered three problems, with increasing complexity, and shown that they can be solved with connectionist algorithms: 1) Reinforcement learning in a small state space: we exploit a well-known algorithm in order to build a connectionist network: the problem's paramaters are stored into weighted units and connections and the planning is the result of a distributed activity in the network. 2) Learning a representation for approximating a reinforcement learning problem with a large state space: we provide an algorithm for automatically building a state space partition in order to approximate a large problem. 3) Self-organization of specialized modules for approximating various reinforcement problems with a large state space: we exploit a ``divide and conquer'' approach and show that various tasks can efficiently be spread over a little number of specialized functional modules.

Cette thèse étudie l'utilisation d'algorithmes connexionnistes pour résoudre des problèmes d'apprentissage par renforcement. Les algorithmes connexionnistes sont inspirés de la manière dont le cerveau traite l'information : ils impliquent un grand nombre d'unités simples fortement interconnectées, manipulant des informations numériques de manière distribuée et massivement parallèle. L'apprentissage par renforcement est une théorie computationnelle qui permet de décrire l'interaction entre un agent et un environnement : elle permet de formaliser précisément le problème consistant à atteindre un certain nombre de buts via l'interaction.

Nous avons considéré trois problèmes de complexité croissante et montré qu'ils admettaient des solutions algorithmiques connexionnistes : 1) L'apprentissage par renforcement dans un petit espace d'états : nous nous appuyons sur un algorithme de la littérature pour construire un réseau connexionniste ; les paramètres du problème sont stockés par les poids des unités et des connexions et le calcul du plan est le résultat d'une activité distribuée dans le réseau. 2) L'apprentissage d'une représentation pour approximer un problème d'apprentissage par renforcement ayant un grand espace d'états : nous automatisons le procédé consistant à construire une partition de l'espace d'états pour approximer un problème de grande taille. 3) L'auto-organisation en modules spécialisés pour approximer plusieurs problèmes d'apprentissage par renforcement ayant un grand espace d'états : nous proposons d'exploiter le principe "diviser pour régner" et montrons comment plusieurs tâches peuvent être réparties efficacement sur un petit nombre de modules fonctionnels spécialisés.

Mots clés: Markov decision processes; Artificial intelligence; Reinforcement learning; Connexionism

Mots clés: intelligence artificielle; apprentissage par renforcement; connexionnisme; processus décisionnels de Markov

Domaines: Interface homme-machine [cs.HC]; Modélisation et simulation; Sciences de l'Homme et Société

Bruno Scherrer. Apprentissage de représentation et auto-organisation modulaire pour un agent autonome. Interface homme-machine [cs.HC]. Université Henri Poincaré - Nancy I, 2003. Français. ⟨NNT : 2003NAN10018⟩. ⟨tel-00003377⟩