An adaptive control of a resource-bounded agent in a dynamic and
uncertain environment
Contrôle adaptatif d'un agent rationnel à
ressources limitées dans un environnement dynamique et incertain.
Résumé
This thesis deals with decision-theoretic autonomous agents. This work consists in constructing a control system for a resource-bounded agent evolving in a uncertain environment. Such agents must be able to control their resources consumption during a mission. The first part of this thesis introduces the concept of planning under uncertainty in general, and Markov decision processes (MDP) in particular, for the control. Solving techniques of large MDPs are presented.
In this control system, we consider resource-bounded agents adopting progressive reasoning as a specific resource-bounded reasoning with anytime behavior. We call progressive processing units (PRU) the task structure which allows the agent to adapt the quality of their accomplishment to the available resources. Each PRU defines a multi-level hierarchy task, to better accomplish the mission.
This thesis presents two extensions of the progressive reasoning : the control of multiple resources and an adaptive control system that faces changes during the mission. Firstly, algorithms are presented to avoid combinatorial explosion due to the multiple resources. Secondly, a value function approximation algorithm permits to quickly obtain a control system when the mission suddenly changes. Promising experimental results have been obtained and illustrated on a real robot.
In this control system, we consider resource-bounded agents adopting progressive reasoning as a specific resource-bounded reasoning with anytime behavior. We call progressive processing units (PRU) the task structure which allows the agent to adapt the quality of their accomplishment to the available resources. Each PRU defines a multi-level hierarchy task, to better accomplish the mission.
This thesis presents two extensions of the progressive reasoning : the control of multiple resources and an adaptive control system that faces changes during the mission. Firstly, algorithms are presented to avoid combinatorial explosion due to the multiple resources. Secondly, a value function approximation algorithm permits to quickly obtain a control system when the mission suddenly changes. Promising experimental results have been obtained and illustrated on a real robot.
Cette thèse se situe dans le cadre de la décision pour un agent
rationnel et autonome. Le travail consiste à élaborer un système de
contrôle intelligent pour un agent évoluant dans un environnement
incertain. L'agent doit pouvoir contrôler sa consommation de ressources
au cours d'une mission prédéfinie. La première partie de cette thèse
introduit le concept de planification sous incertitude. Une présentation
des processus décisionnels de Markov (MDP) précède un état de l'art sur
les techniques de résolution de MDP de grande taille.
Ce système de contrôle de ressources s'appuie sur le raisonnement
progressif. Le raisonnement progressif permet de modéliser un ensemble
de tâches sous forme d'unités de raisonnement progressif (ou PRUs).
Chaque PRU définit des niveaux de réalisation pour une tâche donnée,
donnant lieu à des qualités croissantes de réalisation. Chaque niveau
est lui-même composé de modules dont un seul sera retenu pour sa
réalisation. Choisir un module plutôt qu'un autre permet à l'agent de
faire un compromis entre la qualité de la tâche accomplie et les
ressources consommées.
Cette thèse présente deux extensions du raisonnement progressif : la
prise en compte de ressources multiples et l'adaptation à un changement
de mission. Premièrement, des algorithmes sont présentés pour faire face
à l'explosion combinatoire due à l'introduction de nouvelles ressources.
Deuxièmement, l'élaboration d'un algorithme d'approximation de fonction
de valeur permet d'obtenir rapidement un système de contrôle pour
s'adapter à un éventuel changement de mission. Une expérience est
finalement menée sur un robot réel qui contre ses ressources grâce au
raisonnement progressif.
rationnel et autonome. Le travail consiste à élaborer un système de
contrôle intelligent pour un agent évoluant dans un environnement
incertain. L'agent doit pouvoir contrôler sa consommation de ressources
au cours d'une mission prédéfinie. La première partie de cette thèse
introduit le concept de planification sous incertitude. Une présentation
des processus décisionnels de Markov (MDP) précède un état de l'art sur
les techniques de résolution de MDP de grande taille.
Ce système de contrôle de ressources s'appuie sur le raisonnement
progressif. Le raisonnement progressif permet de modéliser un ensemble
de tâches sous forme d'unités de raisonnement progressif (ou PRUs).
Chaque PRU définit des niveaux de réalisation pour une tâche donnée,
donnant lieu à des qualités croissantes de réalisation. Chaque niveau
est lui-même composé de modules dont un seul sera retenu pour sa
réalisation. Choisir un module plutôt qu'un autre permet à l'agent de
faire un compromis entre la qualité de la tâche accomplie et les
ressources consommées.
Cette thèse présente deux extensions du raisonnement progressif : la
prise en compte de ressources multiples et l'adaptation à un changement
de mission. Premièrement, des algorithmes sont présentés pour faire face
à l'explosion combinatoire due à l'introduction de nouvelles ressources.
Deuxièmement, l'élaboration d'un algorithme d'approximation de fonction
de valeur permet d'obtenir rapidement un système de contrôle pour
s'adapter à un éventuel changement de mission. Une expérience est
finalement menée sur un robot réel qui contre ses ressources grâce au
raisonnement progressif.
Loading...