Recurrent neural network weight estimation through backward tuning

Estimation des poids d’un réseau récurrent par ajustement rétroactif

Thierry Viéville (1) , Xavier Hinaut (1) , Thalita F Drumond (1) , Frédéric Alexandre (1)

1 Mnemosyne - Mnemonic Synergy

We consider another formulation of weight estimation in recurrent networks, proposing a notation for a large amount of recurrent network units that helps formulating the estimation problem. Reusing a “good old” control-theory principle, improved here using a backward-tuning numerical stabilization heuristic, we obtain a numerically stable and rather efficient second-order and distributed estimation, without any meta-parameter to adjust. The relation with existing technique is discussed at each step. The proposed method is validated using reverse engineering tasks.

Nous considérons une formulation alternative de l’estimation du poids dans les réseaux récurrents, proposant une notation integrant une grande quantité d’unités de réseau récurrentes qui aide à formuler ce problème d’estimation. Réutilisant un «bon vieux» principe de la théorie du contrôle, amélioré ici à l’aide d’une heuristique de stabilisation numérique rétroactive, nous obtenons une estimation distribuée du 2ème ordre, numériquement stable et plutôt efficace, sans aucun méta-paramètre à ajuster. La relation avec les techniques existantes est discutée à chaque étape. La méthode proposée est validée en utilisant des tâches d’ingénierie inverse.

Mots clés: recurrent network; machine learning; backward tuning

Mots clés: réseaux récurrents; ajustement rétroactif; apprentissage automatique

Domaines: Informatique

Thierry Viéville, Xavier Hinaut, Thalita F Drumond, Frédéric Alexandre. Recurrent neural network weight estimation through backward tuning. [Research Report] RR-9100, Inria Bordeaux Sud-Ouest. 2017, pp.1-54. ⟨hal-01610735⟩