Learning how to control complex systems thanks to the cooperative self-organization of a MAS
Apprentissage du contrôle de systèmes complexes par l'auto-organisation coopérative d'un système multi-agent
Résumé
This thesis tackles the problem of complex systems control with a multi-agent approach. Controlling a system means applying the adequate actions on its inputs, in order to put the system in a desired state. Usual methods are based on analytical models of the controlled system. They find their limits with complex systems, because of the non-linear dynamics. Building a model of this kind of system is indeed very difficult, and exploiting such a model is even harder. A better approach is to learn how to control, without having to exploit any model. But Ashby's Law taught us that the controller must be at least as complex as the controlled system. A part of the challenge is to build a complex system with the correct functionnality.This challenge is tackled with the Adaptive Multi-Agent Systems (AMAS) approach, which relies on cooperation and emergence to design adaptive multi-agent systems able to perform complex tasks.
Cette thèse s'intéresse au contrôle de systèmes complexes, et propose une solution multi-agent.Contrôler un système, c'est appliquer les modifications adéquates sur ses entrées de façon à placer ses sorties dans un état attendu. Les méthodes habituelles se basent majoritairement sur l'utilisation de modèles mathématiques du système contrôlé, afin de calculer les actions de contrôle à effectuer. Ces méthodes trouvent leurs limites face aux systèmes complexes, qui ont une dynamique non-linéaire, et sont souvent bruités et instables. La construction d'un modèle est dans ce cas une tâche ardue, qui peut s'étendre sur plusieurs années. La plupart des méthodes proposent alors d'utiliser un algorithme d'apprentissage artificiel pour apprendre un modèle. Cependant, le modèle produit demeure difficile à exploiter pour le contrôle, puisqu'il reproduit les caractéristiques difficiles du système réel, notamment sa non-linéarité. Une meilleure approche, adoptée dans cette thèse, consiste à apprendre directement le contrôle. La loi de la variété requise indique que, pour être capable d'accomplir sa tâche, le contrôleur doit être au moins aussi complexe que le système contrôlé. Il faut donc concevoir un système capable d'apprendre, de contrôler, et surtout, de franchir le mur de la complexité.La distribution du contrôle, c'est-à-dire l'affectation du contrôle de chaque entrée d'un système à des contrôleurs plus ou moins indépendants, permet de s'attaquer à la complexité. Mais cela demeure un sujet de recherche actif, à plus forte raison lorsque vient s'ajouter une problématique d'apprentissage. Les systèmes multi-agents (SMA), composés d'entités autonomes, se prêtent naturellement aux problèmes distribués et peuvent ainsi beaucoup apporter. En particulier, les systèmes multi-agents adaptatifs (AMAS) s'appuient sur l'auto-organisation des agents pour faire émerger une fonction globale adéquate. Cette auto-organisation est guidée par la coopération. Chaque agent est capable de détecter et de résoudre les situations dans lesquelles il ne peut accomplir sa tâche. Un AMAS est ainsi doté de fortes capacités d'adaptation et d'apprentissage. Il est également capable, grâce à l'émergence, d'accomplir des tâches complexes. Appliquée au problème du contrôle et de son apprentissage, cette approche conduit à la définition d'un SMA particulier, présenté dans cette thèse. Les expérimentations, menées sur des simulations ainsi qu'en situation réelle (sur un moteur à combustion), ont montré la capacité du système à apprendre le contrôle de plusieurs entrées en fonction de critères sur plusieurs sorties, tout en étant robuste aux perturbations, et facile à instancier. Ces résultats sont analysés pour conclure sur la validité du système.
Loading...