Apprentissage Profond pour la Restauration et la Synthese d’Images
A. ALMANSA (Paris Descartes), S. LADJAL (MdC Telecom ParisTech), A. NEWSON (MdC Telecom ParisTech)
Image processingLearning

Prè-requis

Mathematiques Appliquees (Algebre lineaire, Analyse numerique, Calcul Differentiel, Analyse de Fourier) Programmation (Python, Matlab) Les notions de base en traitement d’images, optimisation et apprentissage profond sont utiles mais elles seront introduites dans le cours.

Objectif du cours

La minituriasation des capteurs et l’évolution des capacités computationnelles ont conduit à une omniprésence des images. Cependant, ces images ont besoin de post-traitements de plus en plus exigeants (filtrages, restaurations) afin de produire des résultats de bonne qualité. Au coeur de ces traitements se trouvent les modèles d’images, qui nous permettent d’établir des algorithmes de traitements performants. L’apprentissage profond est le dernier venu dans une longue liste de modèles d’images. Le but de ce cours est de mettre en perspective les techniques récentes basées sur l’apprentissage profond pour la qualité des images, par rapport aux méthodes pré-existantes. Nous explorerons pour cela de nombreuses applications telles que le débruitage, la super-résolution, le défloutage, la synthèse de textures et la génération des images naturelles. Dans chaque cas on présentera les points forts et les limitations des différentes techniques étudiées. En particulier, on s’attachera à analyser de manière critique les méthodes et parfois montrer les écueils dans lesquelles elles sont tombées.

Organisation des séances

  • 8 seances de 3 heures (cours+TP) + 2 séances de révision + 1 séance de présentation des projets
  •  Dates & lieu*: tous les mardis 13h30-16h45, Telecom Paris

+ d’infos : https://delires.wp.imt.fr/

Mode de validation

Comptes rendus inividuels de TPs. Projet individuel avec rapport et soutenance orale a la fin du cours

Références

I. Goodfellow, Y. Bengio, and A. Courville (2016), Deep Learning, MIT Press, http://www.deeplearningbook.org Dong, C., Loy, C. C., He, K., & Tang, X. (2016). Image Super-Resolution Using Deep Convolutional Networks. *IEEE Transactions on Pattern Analysis and Machine Intelligence*, *38*(2), 295-307. https://doi.org/10.1109/TPAMI.2015.2439281

Chan, S. H., Wang, X., & Elgendy, O. A. (2017). Plug-and-Play ADMM for Image Restoration: Fixed-Point Convergence and Applications. *IEEE Transactions on Computational Imaging*, *3*(1), 84-98. https://doi.org/10.1109/TCI.2016.2629286
Gatys, L. A., Ecker, A. S., & Bethge, M. (2015). Texture Synthesis Using Convolutional Neural Networks. *NIPS 2015*, 1-10. http://arxiv.org/abs/1505.07376
Liu, G., Gousseau, Y., & Xia, G.-S. (2016). *Texture Synthesis Through Convolutional Neural Networks and Spectrum Constraints*. Retrieved from http://arxiv.org/abs/1605.01141
Newson, A., Almansa, A., Gousseau, Y., Ladjal, S., Newson, A., Almansa, A., … Ladjal, S. (2018). *Taking Apart Autoencoders: How do They Encode Geometric Shapes?* Retrieved from <https://hal.archives-ouvertes.fr/hal-01676326/>
Harchaoui, W., Mattei, P-A., Bouveyron, C. and Almansa, A. (2018) « Wasserstein Adversarial Mixture Clustering » https://hal.archives-ouvertes.fr/hal-01827775/.

Thèmes abordés

1. Apprentissage profond bout à bout et application à la sur-résolution (S. Ladjal, 1 cours + 1 TP)
2. Problèmes inverses, méthodes variationnelles, statistiques et hybrides (A. Almansa, 1 cours + 1 TP)
3. Modèles génératifs pour la synthèse de textures (S. Ladjal, 1 cours+TP) 4. Autoencodeurs variationnels (A. Newson, 1 cours + TP)
5. Réseaux génératifs adversaires (A. Newson, 1 cours + TP)

Langue

Le cours pourra etre dicte en anglais ou en francais en fonction des preferences du public.

Sites web

Pour plus d’information et mises à jour: http://delires.wp.imt.fr

L’emploi du temps (avec les salles) est détaillé ici:https://delires.wp.imt.fr/emploi-du-temps-2019/?lang=fr
Et ici (en version anglaise)https://delires.wp.imt.fr/timetable/
Les intervenants

Andrès Almansa (Paris Descartes)

Said Ladjal (MdC Telecom ParisTech)

Alasdair Newson (MdC Telecom ParisTech)

voir les autres cours du 2nd semestre