Image coding techniques based on sparse representations and multi-patch prediction
Techniques de codage d'images basées représentations parcimonieuses de scènes et prédiction spatiale multi-patches
Résumé
In recent years, video compression eld has increased signicantly since the apparition
of H.264/AVC standard and of its successor HEVC. Spatial prediction in these standards
are based on the unidirectional propagation of neighboring pixels. Although very effective
to extend pattern with the same characteristics, this prediction has limited performances to
extrapolate complex textures. This thesis aims at exploring new spatial prediction schemes
to improve the current intra prediction techniques, by extending these local schemes to
global, multidimensional and multi-patches schemes. A hybrid prediction method based on
template and block matching is first investigated. This hybrid approach is then extended to
multi-patchs-based prediction of type "Neighbor Embedding" (NE). The other part of this
thesis is dedicated to the study of epitome image within the scope of image compression.
The idea is to exploit spatial redundancies in the original image in order to rst extract
a summary image containing the texture patches the most representative of the image,
and then use this compacted representation to rebuild the original image. The concept
of epitome has been incorporated in two compression schemes, one of these algorithms is
in rupture with the traditional techniques since the image blocks are processed, both at
encoder and decoder sides, in a spatial order that depends on the image content and this in
the interest of propagating image structures. In this last compression algorithm, extended
H.264 Intra directional prediction modes and advanced multi-patches prediction methods
have been also included. These different solutions have been integrated in a H.264/AVC
encoder in order to assess their coding performances with respect to H.264 intra modes
and the state of the art relative to these dierent techniques.
Au cours de ces dernières années, le domaine de la compression vidéo a connu un essor
considérable avec le standard H.264/AVC et l'arrivée de son successeur HEVC. La prédiction
spatiale de ces standards repose sur la propagation unidirectionnelle de pixels voisins.
Bien que très efficace pour étendre des motifs répondants aux mêmes caractéristiques,
cette prédiction présente des performances limitées lorsqu'il s'agit de propager des textures
complexes. Cette thèse vise à explorer de nouveaux schémas de prédiction spatiale afin
d'améliorer les techniques actuelles de prédiction intra, en étendant ces schémas locaux et
monodimensionnels à des schémas globaux, multidimensionnels et multi-patches. Une première
méthode de prédiction hybride intégrant correspondance de bloc et correspondance
de gabarit (template) a été investiguée. Cette approche hybride a ensuite été étendue en
prédiction multi-patches de type "neighbor embedding" (NE). L'autre partie de la thèse
est dédiée à l'étude des épitomes dans un contexte de compression d'images. L'idée est
d'exploiter la redondance spatiale de l'image d'origine afin d'extraire une image résumé
contenant les patches de texture les plus représentatifs de l'image, puis ensuite utiliser
cette représentation compacte pour reconstruire l'image de départ. Ce concept d'épitome a
été intégré dans deux schémas de compression, l'un de ces algorithmes s'avère vraiment en
rupture avec les techniques traditionnelles dans la mesure où les blocs de l'image sont trait
és, à l'encodeur et au décodeur, dans un ordre spatial qui dépend du contenu et cela dans
un souci de propagation des structures de l'image. Dans ce dernier algorithme de compression,
des modes de prédiction directionnelle intra H.264 étendus et des méthodes avancées
de prédiction multi-patches y ont été également introduits. Ces différentes solutions ont été
intégrées dans un encodeur de type H.264/AVC afin d'évaluer leurs performances de codage
par rapport aux modes intra H.264 et à l'état de l'art relatif à ces différentes techniques.