Apprentissage par Renforcement et Réduction de la dimensionnalité : une Approche Bio-inspirée

Frédéric Alexandre (1) , Nishal Shah (2)

1 CORTEX - Neuromimetic intelligence
2 LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications

Depuis les travaux fondateurs de Schultz (Schultz et al., 1997), une structure cérébrale appelée Ganglions de la Base est reconnue comme possible substrat neuronal de l'Apprentissage par Renforcement. En conséquence, de nombreux travaux ont été menés pour préciser cette analogie, tant au niveau fonctionnel qu'anatomique. Un élément architectural notable a cependant été très peu pris en compte : la formidable réduction de dimensionnalité qui s'opère entre l'entrée et la sortie des Ganglions de la Base. Seul un auteur (Bar-Gad et al., 2003) a proposé que cette transformation pourrait être équivalente à une analyse en composantes principales, mais l'analyse des conséquences de cette hypothèse est restée superficielle. C'est dans ce cadre que nous avons choisi de reprendre ces travaux et de les étendre à un cadre plus fonctionnel et plus bio-inspiré afin d'étudier si cette hypothèse reste valide dans ce contexte plus réaliste. Nous montrons en particulier tout l'intérêt qu'il y a à ne pas simplement regarder cette transformation mais aussi à fermer la boucle, c'est à dire à l'utiliser pour la sélection de l'action.

Mots clés: apprentissage par renforcement; réduction de la dimensionnalité; modélisation bio-inspirée; neurosciences computationnellles

Domaines: Réseau de neurones [cs.NE]

Frédéric Alexandre, Nishal Shah. Apprentissage par Renforcement et Réduction de la dimensionnalité : une Approche Bio-inspirée. Conférence francophone d'Apprentissage - CAP 2011, May 2011, Chambéry, France. ⟨inria-00582399⟩