Apprentissage Profond pour la Restauration et la Synthese d’Images
A. ALMANSA, S. LADJAL, A. NEWSON
Image processingLearning

Prè-requis

Mathematiques Appliquees (Algebre lineaire, Analyse numerique, Calcul Differentiel, Analyse de Fourier) Programmation (Python, Matlab) Les notions de base en traitement d’images, optimisation et apprentissage profond sont utiles mais elles seront introduites dans le cours.

Objectif du cours

La minituriasation des capteurs et l’évolution des capacités computationnelles ont conduit à une omniprésence des images. Cependant, ces images ont besoin de post-traitements de plus en plus exigeants (filtrages, restaurations) afin de produire des résultats de bonne qualité. Au coeur de ces traitements se trouvent les modèles d’images, qui nous permettent d’établir des algorithmes de traitements performants. L’apprentissage profond est le dernier venu dans une longue liste de modèles d’images. Le but de ce cours est de mettre en perspective les techniques récentes basées sur l’apprentissage profond pour la qualité des images, par rapport aux méthodes pré-existantes. Nous explorerons pour cela de nombreuses applications telles que le débruitage, la super-résolution, le défloutage, la synthèse de textures et la génération des images naturelles. Dans chaque cas on présentera les points forts et les limitations des différentes techniques étudiées. En particulier, on s’attachera à analyser de manière critique les méthodes et parfois montrer les écueils dans lesquelles elles sont tombées.

Organisation des séances

  • 8 séances de 3 heures (cours+TP) + 2 séances de révision + 1 séance de présentation des projets
  • Dates & lieu: tous les mardis 13h30-16h45, Telecom Paris
  • Numerus Clausus : 20 places

Le cours n’est pas ouvert aux étudiants d’autres masters en auditeurs externes.

Mode de validation

Comptes rendus inividuels de TPs. Projet individuel avec rapport et soutenance orale a la fin du cours

Références

I. Goodfellow, Y. Bengio, and A. Courville (2016), Deep Learning, MIT Press, http://www.deeplearningbook.org Dong, C., Loy, C. C., He, K., & Tang, X. (2016). Image Super-Resolution Using Deep Convolutional Networks. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, *38*(2), 295-307. https://doi.org/10.1109/TPAMI.2015.2439281

Chan, S. H., Wang, X., & Elgendy, O. A. (2017). Plug-and-Play ADMM for Image Restoration: Fixed-Point Convergence and Applications. *IEEE Transactions on Computational Imaging*, *3*(1), 84-98. https://doi.org/10.1109/TCI.2016.2629286
Gatys, L. A., Ecker, A. S., & Bethge, M. (2015). Texture Synthesis Using Convolutional Neural Networks. *NIPS 2015*, 1-10. http://arxiv.org/abs/1505.07376
Liu, G., Gousseau, Y., & Xia, G.-S. (2016). *Texture Synthesis Through Convolutional Neural Networks and Spectrum Constraints*. Retrieved from http://arxiv.org/abs/1605.01141
Newson, A., Almansa, A., Gousseau, Y., Ladjal, S., Newson, A., Almansa, A., … Ladjal, S. (2018). *Taking Apart Autoencoders: How do They Encode Geometric Shapes?* Retrieved from <https://hal.archives-ouvertes.fr/hal-01676326/>
Harchaoui, W., Mattei, P-A., Bouveyron, C. and Almansa, A. (2018) « Wasserstein Adversarial Mixture Clustering » https://hal.archives-ouvertes.fr/hal-01827775/.

Thèmes abordés

1. Apprentissage profond bout à bout et application à la sur-résolution (S. Ladjal, 1 cours + 1 TP)
2. Problèmes inverses, méthodes variationnelles, statistiques et hybrides (A. Almansa, 1 cours + 1 TP)
3. Modèles génératifs pour la synthèse de textures (S. Ladjal, 1 cours+TP) 4. Autoencodeurs variationnels (A. Newson, 1 cours + TP)
5. Réseaux génératifs adversaires (A. Newson, 1 cours + TP)

Langue

Le cours pourra être dicté en anglais ou en français en fonction des préférences du public.

Site web

Pour plus d’information et mises à jour: http://delires.wp.imt.fr

Les intervenants

Andrès Almansa

(Université Paris Cité)

Said Ladjal

(Telecom Paris)

Alasdair Newson

(Telecom Paris)

voir les autres cours du 2nd semestre