深度学习-生成式深度学习 黄海广 副教授 2 03 GAN 的应用 本章目录 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 3 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 1.生成式深度学习简介 4  深度学习中常见生成式模型 其隐变量z是一个单值映射：z=f(x)  变分自编码（VAE）  其隐变量z是一个正态分布的采样  生成式对抗网络（GAN）  条件生成式对抗网络（CGAN）  在生成器和判别器中添加某一标签信息  深度卷积生成式对抗网络（DCGAN）  判别器和生成器都使用了卷积神经网络（CNN）来替代GAN 中的多层感知机  为了使整个网络可微，拿掉了CNN 中的池化层  将全连接层以全局池化层替代以减轻计算量。 生成式深度学习简介 7 变分自编码（VAE）生成图像 1.生成式深度学习简介 8 03 GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 2. GAN的理论与实现模型 9 GAN的概念简介及提出背景 概念简介 提出背景 GAN (Generative Adversarial Networks) ，中文翻译为生成式对抗网络，是

深度学习：GAN 主讲人：龙良曲 https://blog.openai.com/generative-models/ Our Goal: ?(?) https://www.mathworks.com/help/stats/simulate-data-from-a-gaussian-mixture- model.html What does ? ? looks like? http://www orks-explained- 34472718707a How to train? https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html Done! https://medium.com/syncedreview/biggan-a-new-state-of-the-art-in-image-synthesis- google.com/drive/folders/1lWC6XEPD0LT5KUnPXeve_kWeY-FxH002 Having Fun ▪ https://reiinakano.github.io/gan-playground/ ▪ https://affinelayer.com/pixsrv/ ▪ https://www.youtube.com/watch?v=9reHvktowLY&feature=youtu

12.5 VAE 实战 12.6 参考文献 第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 原理 13.3 DCGAN 实战 13.4 GAN 变种 预览版202112 13.5 纳什均衡 13.6 GAN 训练难题 13.7 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 年~2019 年之间重大的时间 节点。 预览版202112 1.3 深度学习特点 7 2006 DBN深度 置信网络 ImageNet 2009 2012 AlexNet 提出 GAN生成 对抗网络 2014 2015 DQN AlphaGO 2016 2017 AlphaGO Zero 2019 OpenAI Five ResNet 2015 2014 VGG GooLeNet Generation) 是指通过学习真实图片的分布，并从学习到的分布中采样 而获得逼真度较高的生成图片。目前常见的生成模型有 VAE 系列、GAN 系列等。其中 GAN 系列算法近年来取得了巨大的进展，最新 GAN 模型产生的图片效果达到了肉眼难辨 真伪的程度，如图 1.17 为某 GAN 模型的生成图片。 除了上述应用，深度学习也在其它方向上取得了不俗的效果，比如艺术风格迁移(图 1.18)、超分辨率、AI

techniques like Synthetic Minority Oversampling Technique16 (SMOTE) and Generative Adversarial Network17 (GAN) which can generate synthetic data for images. While SMOTE leverages statistical models for sample sophisticated approach for sample generation. Let’s learn about GAN, which is one such approach that leverages deep learning for this purpose. A GAN is composed of two neural networks: a generator network and increasingly sophisticated agents. Figure 3-15: Architecture of a Generative Adversarial Network (GAN). It has three phases: discriminator training, generator training and the synthetic sample generation

exploring-latent-space-with-adversarial-2d53a6f8a4f9 Adversarial AutoEncoders ▪ Give more details after GAN https://towardsdatascience.com/a-wizards-guide-to-adversarial-autoencoders-part-2- exploring-late e/reconst_images_7.png Generative model https://jmetzen.github.io/2015-11-27/vae.html VAE V.S. GAN https://medium.com/@wuga/generate-anime-character-with-variational-auto-encoder- 81e3134d1439 下一课时

http://www.iro.umontreal.ca/~vincentp/ift3395/lectures/backprop_old.pdf Predictability Minimization V.S. GAN https://zhuanlan.zhihu.com/p/27159510 Can deal with simplest scenario Why http://www.iro.umontreal Initialization ▪ Dropout http://www.iro.umontreal.ca/~vincentp/ift3395/lectures/backprop_old.pdf GAN:2014 https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf BigGAN https://arxiv.org/pdf/1809

s w or d t h at m e e t s t h e r e c om m e n d e d p as s w or d s t an d ar d s f or y ou r or gan i z at i on . 3. 2. 2 - C on fi gu r e an I d e n t i t y P r ov i d e r f or A u t h e n t i c at h e r c l u s t e r . D oi n g s o as s u r e s t h at ac c e s s c on t r ol f ol l ow s t h e or gan i z at i on ’ s c h an ge m an age m e n t p r oc e s s f or u s e r ac c ou n t s . A u d i t • e n c e , p op u l ar c l ou d p r ov i d e r s ar e e n ab l e d b y d e f au l t . I f t h e or gan i z at i on d oe s n ot i n t e n d t o u s e t h e s e or d oe s n ot al l ow u s e r s t o p r ov

s , w e c an or gan i z e an ap p l i c at i on i n a m od u l ar f as h i on . F or e x am p l e , t h e f ol l ow i n g d i r e c t or y s t r u c t u r e m ay b e u s e d t o or gan i z e t h e c od as i l y i n f u t u r e p r oj e c t s . 2 . 8 . 1 C r e a t i ng M o dul e A m od u l e i s or gan i z e d as a d i r e c t or y w h os e n am e s e r v e s as i t s u n i q u e I D . T h e s t r u 6 . E x t e n d i n g Y i i • F i l e s b e l on gi n g t o an e x t e n s i on s h ou l d b e or gan i z e d u n d e r t h e s am e d i r e c t or y w h os e n am e i s t h e e x t e n s i on n am e

K80 for GPU ▪ no need to cross GFW Load Dataset Network Load word embedding Train Test 下一课时 GAN Thank You.

Regularization ▪ Data argumentation Recap Data argumentation ▪ Flip ▪ Rotate ▪ Random Move & Crop ▪ GAN https://medium.com/nanonets/how-to-use-deep-learning-when-you-have-limited-data- part-2-data-augm