Sparsifying Convolutional Layers with Dual-Tree Wavelet Packets

Modélisation Parcimonieuse de CNNs avec des Paquets d'Ondelettes Dual-Tree

Hubert Leterme (1) , Kévin Polisano (2) , Valérie Perrier (1) , Karteek Alahari (3)

1 EDP - Equations aux Dérivées Partielles
2 SVH - Statistique pour le Vivant et l’Homme
3 Thoth - Apprentissage de modèles à partir de données massives

We propose to improve the mathematical interpretability of convolutional neural networks (CNNs) for image classification. In this purpose, we replace the first layers of existing models such as AlexNet or ResNet by an operator containing the dual-tree wavelet packet transform, i.e., a redundant decomposition using complex and oriented waveforms. Our experiments show that these modified networks behave very similarly to the original models once trained. The goal is then to study this operator from a theoretical point of view and to identify potential optimizations. We want to analyze its main properties such as directional selectivity, stability with respect to small shifts and rotations, thus retaining discriminant information while decreasing intra-class variability. This work is a step toward a more complete description of CNNs using well-defined mathematical operators, characterized by a small number of arbitrary parameters, making them easier to interpret.

Nous proposons d’améliorer l’interprétabilité mathématique des réseaux neuronaux convolutifs (CNNs) pour la classification d’images. Pour cela, nous remplaçons les premières couches de réseaux tels qu’AlexNet ou ResNet par un opérateur faisant intervenir une version complexe,orientée et redondante de la transformée en paquets d’ondelettes discrète, appelée en anglais dual-tree wavelet packet transform. Nous montrons expérimentalement que ces réseaux modifiés se comportent de manière très similaire aux modèles originaux une fois entraînés. L’objectif est ensuite d’étudier, d’un point de vue théorique, l’opérateur mathématique ainsi introduit, et d’identifier des leviers d’optimisation. Nous souhaitons analyser ses principales propriétés telles que la sélectivité directionnelle, la stabilité par translation et rotation, qui permettent de discriminer des images de nature différente tout en atténuant les sources de variabilité au sein d’une même classe d’images. Ce travail est un pas vers une description plus complète des CNNs existants à l’aide d’opérateurs mathématiques bien définis, caractérisés par un faible nombre de paramètres arbitraires, les rendant de fait plus aisés à interpréter.

Mots clés: Deep learning; image classification; dual-tree wavelet packet transform

Mots clés: Apprentissage profond; classification d’images; transformée en paquets d’ondelettes discrète

Domaines: Informatique [cs]; Vision par ordinateur et reconnaissance de formes [cs.CV]

Hubert Leterme, Kévin Polisano, Valérie Perrier, Karteek Alahari. Modélisation Parcimonieuse de CNNs avec des Paquets d'Ondelettes Dual-Tree. ORASIS 2021 - Journées francophones des jeunes chercheurs en vision par ordinateur, Centre National de la Recherche Scientifique [CNRS], Sep 2021, Saint Ferréol, France. pp.1-9. ⟨hal-03339792v2⟩