Fusion de modèles bayésiens et de convolution pour la reconnaissance d'actions

Camille Maurice (1) , Jorge Francisco Madrigal Diaz (1) , Frédéric Lerasle (1)

1 LAAS-RAP - Équipe Robotique, Action et Perception

Les différentes actions qui ont lieu au cours d'une séquence vidéo suivent généralement un ordre logique. Dans cet article nous proposons une approche hybride qui résulte de la fusion d'un réseau de convolution avec une approche bayésienne qui repose sur des modèles d'interactions homme-objets et des transitions entre les différentes actions. L'idée est de combiner dans la prédiction finale ces deux approches. Nous validons notre stratégie de fusion sur deux jeux de données publics : CAD-120 [7] et Watch-n-Patch [27]. Par rapport aux deux méthodes individuelles la fusion permet un gain en justesse de +4% et +6% respectivement sur les deux jeux de données. Les performances de reconnaissance d'actions sont clairement améliorées grâce à la fusion, notamment lors de déséquilibre entre les classes. Mots Clef Analyse vidéo, modèle bayésien, réseau de convolution, reconnaissance d'actions.

Mots clés: Video analysis; Bayesian model; convolutional network; action recognition

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]; Intelligence artificielle [cs.AI]

Camille Maurice, Jorge Francisco Madrigal Diaz, Frédéric Lerasle. Fusion de modèles bayésiens et de convolution pour la reconnaissance d'actions. Reconnaissance des Formes, Image, Apprentissage et Perception RFIAP, Jun 2020, Vannes, France. ⟨hal-02937489⟩