Extraction of spatio-temporal motion information with a spiking neural network : application to a ball trajectory prediction task
Extraction d'informations spatio-temporelles du mouvement avec un réseau de neurones à spike : application sur une tâche de prédiction de trajectoire de balles
Résumé
Artificial intelligence covers all the techniques and theories that enable an artificial system to act in a so-called intelligent way, i.e., as a human or an animal would. This field of research has recently made significant progress which have enabled it to surpass many information processing methods. Specifically, the category of artificial neural networks (ANN) has shown impressive capabilities and strong abilities to adapt to different use cases. These neural networks seek to mimic the processing of neurons in the human brain and can learn from provided data to solve various tasks. This attraction for these methods has notably increased in recent years with the arrival of deep neural networks (DNN), notably in visual information processing with convolutional neural networks (CNN). However, the methods currently used by DNNs and CNNs no longer mimic the human brain's processing, use a lot of energy, and require a lot of data to train them. An answer to these different limits has been proposed. This one comes from bio-mimicry, once again, as it consists of being inspired by the information communication method of neurons. Spiking neural networks (SNN) were then developed. Considered as the third generation of neural networks, they use spikes (action potentials) to transmit information between neurons, which are binary events with a temporal information, as opposed to ANNs that used analog and continuous values. The development of SNNs was accompanied by the spike timing dependant plasticity (STDP) learning rule. This one has the particularity of being bio-inspired, using the temporal information contained in the spikes and being unsupervised. New sensors and neuromorphic chips have emerged to take full advantage of the benefits offered by SNNs and event-driven information processing more generally. Recent studies have shown that SNNs can extract information from visual stimuli on images or by using event-driven cameras. The objective of this thesis is to use and adapt a new event-driven camera developed by the company Yumain, located in Dijon, to perform analysis and prediction of ball trajectories in a sports context. Indeed, the ability of prediction is essential while practicing sport in order to anticipate the opponent's behavior or the trajectory of a ball. Sports experts, particularly, have strong predictive skills in their favorite sport. Thus the objective is to evaluate the capacity of our solution on the ball's trajectory prediction task and compare the performances with expert and/or non-expert participants. Fisrt of all, this thesis manuscript will review the current state of the art of event-driven processing, including event-driven cameras and asynchronous cameras. Then, the NeuroSoc camera will be presented, along with the SNN used during this thesis. Afterward, we will show that this type of camera allows extracting information from spikes generated by visual information, either on simulations or from real acquisitions. Thus, we will show that the extracted information allows predicting the ball's trajectory and that this prediction is more accurate than those made by human participants. Finally, some limitations of the NeuroSoc camera used during this thesis will be presented, along with some proposals to improve it.
L’intelligence artificielle regroupe l’ensemble des techniques et théories permettant à un système artificiel d’agir de façon dite intelligente, c’est-à-dire comme un humain ou un animal le ferait. Ce domaine de recherche a fait récemment l’objet de grandes avancées qui ont permis de surpasser de nombreuses méthodes de traitement de l’information. Plus particulièrement pour la catégorie des réseaux de neurones qui ont fait preuve de performances impressionnantes et d’une forte capacité à s’adapter à différents cas d’usages. Ces réseaux de neurones cherchent à imiter le fonctionnement des neurones du cerveau humain et peuvent apprendre des données qui leur sont fournies pour répondre à différents problèmes. Cet attrait pour ces méthodes s’est notamment amplifié ces dernières années avec l’arrivée des réseaux de neurones artificiels pro-fonds et notamment dans le domaine du traitement de l’information visuelle avec les réseaux de neurones convolutionnels. Cependant, la quête de puissance des DNNs et CNNs les ont amenée à s’éloigner de leur inspiration biologique initiale. Ainsi, les réseaux de neurones artificiels ne ressemblent désormais plus au fonctionnement du cerveau humain,consomment beaucoup d’énergie et nécessitent de nombreuses données pour les entraîner.Une réponse à ces différents problèmes a été proposée et celle-ci vient encore une fois du bio-mimétisme. En effet, celle-ci consiste à s’inspirer de la méthode de communication de l’information des neurones. Les réseaux de neurones à spike se sont alors développés. Considérés comme la troisième génération de réseaux de neurones, ils utilisent les spikes pour transmettre l’information entre les neurones, qui sont des événements binaires et inscrits temporellement, contrairement aux ANNs qui utilisaient des valeurs analogiques et continues. Le développement des SNNs s’est accompagné de l’utilisation de la règle d’apprentissage Spike-Timing-Dependent-Plasticity (STDP), qui a pour particularité d’être bio-inspirée, d’utiliser l’information temporelle contenue dans les spikes et d’être non-supervisée. De nouveaux capteurs et cartes neuromorphiques ont ensuite émergé permettant de profiter pleine-ment des avantages présentés par les SNNs et par le traitement de l’information événementielle de façon plus générale.De récentes études ont montré que les SNNs pouvaient extraire de l’information à partir d’information visuelle sur des images ou en utilisant des caméras événementielles. L’objectif de cette thèse est d’utiliser et d’adapter une nouvelle caméra événementielle développée par l’entreprise Yumain à Dijon pour effectuer de l’analyse et de la prédiction de trajectoires de balles dans un contexte sportif. En effet, la capacité de prédiction est primordiale dans le sport afin d’anticiper le comportement de l’adversaire ou la trajectoire d’un ballon. Les experts sportifs notamment,présentent de fortes capacités de prédiction dans leur sport de prédilection. Ainsi l’objectif est d’évaluer la capacité de notre solution à prédire la trajectoire d’un ballon et de comparer lesperformances avec des participants experts ou non en sport de balle, nécessitant une anticipation de la trajectoire de la balle.Ce manuscrit de thèse reviendra donc dans un premier temps sur l’état de l’art actuel des traitements événementiels, dont notamment les SNNs et les caméras asynchrones événementielles. Lacaméra NeuroSoc sera ensuite présentée, ainsi que le SNN utilisé durant cette thèse. Puis nous montrerons que ce type de SNN permet d’extraire de l’information à partir de spikes générés par de l’information visuelle, que ce soit sur des simulations ou depuis des acquisitions réelles.Ainsi, nous montrerons que l’information extraite permet de prédire la trajectoire de la balle et que cette prédiction est plus précise que celles effectuées par des participants humains. Enfin,quelques limites de la caméra NeuroSoc utilisée durant cette thèse seront exposés [...].
Origine : Version validée par le jury (STAR)