1 2023年04月 深度学习-人脸识别和风格迁移 黄海广 副教授 2 01 人脸识别概述 02 神经风格迁移 本章目录 3 01 人脸识别概述 1.人脸识别概述 02 神经风格迁移 4 1.人脸识别概述 人脸验证（face verification） 人脸识别（face recognition） • 有一个K个人的人脸数据库 • 获取输入图像 人脸识别概述 2.神经风格迁移 02 神经风格迁移 20 2.神经风格迁移 21 2.神经风格迁移 22 2.神经风格迁移 深度学习=表示学习+浅层学习 23 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 24 2.神经风格迁移 ?(?) = ??content( ，而你的目标是生成一个新图片? 25 2.神经风格迁移 • 随机初始化生成图像?，如100×100×3，500×500×3，又或者是任何你想要的尺寸。 • 然后使用代价函数?(?)，使用梯度下降的方法将其最小化，更新?: = ? − ? ?? ?(?)。在 这个步骤中，你实际上更新的是图像?的像素值，也就是100×100×3，比如RGB通 道的图片。 26 2.神经风格迁移 内容代价函数（Content

• Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏ 代码）� 扩展目标：� TensorFlow on Yarn设计 tensorflow-submit \� --app-name “tfdemo” \#作业名� Yarn技术细节揭秘 集成TensorFlow到Yarn面临的特定问题：� • 如何自组织ClusterSpec信息� • 训练数据的划分� • 如何启动Tensorboard服务� • 如何降低迁移成本� • 已分配的物理GPU设备号到用户态GPU设备号的映射� TensorFlow on Yarn技术细节揭秘 自动构建ClusterSpec的流程图：� TensorFlow on Yarn技术细节揭秘 训练数据的划分：� TensorFlow on Yarn技术细节揭秘 启动Tensorboard服务：� TensorFlow on Yarn技术细节揭秘 降低已有tensorflow程序迁移成本：� （1）单机模式 不需要修改代码 （2）分布式模式（最多修改三行代码） cluster = !.train.ClusterSpec(json.loads(os

4.卷积神经网络使用技巧 数据增强 27 数据增强 4.卷积神经网络使用技巧 28 迁移学习 迁移学习 (Transfer Learning) 是把已学训练好的模型参数用作新训练模型的起 始参数。迁移学习是深度学习中非常重要和常用的⼀个策略。 4.卷积神经网络使用技巧 29 迁移学习步骤 1.使用预训练的模型 net = models.resnet18(pretrained=True)

方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3 宝可梦数据集实战 15.4 迁移学习 15.5 Saved_model 15.6 模型部署 15.7 参考文献 预览版202112 人工智能绪论 我们需要的是一台可以从经验中学习的机器。 17 为某 GAN 模型的生成图片。 除了上述应用，深度学习也在其它方向上取得了不俗的效果，比如艺术风格迁移(图 1.18)、超分辨率、AI 换脸、超级夜景等一系列非常实用酷炫的任务，限于篇幅，不再赘 述。 图 1.17 自动生成的图片 图 1.18 艺术风格迁移效果图 1.4.2 自然语言处理 机器翻译(Machine Translation) 过去的机 VOC，图片分割数据集 ❑ Kinetics-400，视频动作理解数据集 这些数据集在机器学习或深度学习的研究和学习中使用地非常频繁。对于新提出的算法， 通常优先在经典的数据集上面进行测试和验证，再尝试迁移到更大规模、更复杂的数据集 上。torchvision 均对这些常见数据集的加载提供了便捷支持，对于如 MNIST、CIFAR 这种 小型数据集，可以直接在线下载、自动加载；对于如 ImageNet、Kinetics-400

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622 13.12 风格迁移 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624 13.12 Discussions167 167 https://discuss.d2l.ai/t/2803 12.6. 多GPU的简洁实现 539 12.7 参数服务器 当我们从一个GPU迁移到多个GPU时，以及再迁移到包含多个GPU的多个服务器时（可能所有服务器的分布 跨越了多个机架和多个网络交换机），分布式并行训练算法也需要变得更加复杂。通过细节可以知道，一方面 是不同的互连方式的带宽存在极大 目标检测（object detection）、语义分割（semantic segmentation）和样式迁移（style transfer）。秉承计算 机视觉中利用分层表示的关键思想，我们将从物体检测的主要组件和技术开始，继而展示如何使用完全卷积 网络对图像进行语义分割，然后我们将解释如何使用样式迁移技术来生成像本书封面一样的图像。最后在结 束本章时，我们将本章和前几章的知识应用于两个流行的计算机视觉基准数据集。

is an orange farmer.” “Robert Lin is an apple farmer.” 10 2.词嵌入 如何用词嵌入做迁移学习的步骤。 第一步，先从大量的文本集中学习词嵌入。 第二步，你可以用这些词嵌入模型把它迁移到你的新的只有少量标注训练集的任 务中，比如说用这个300维的词嵌入来表示你的单词。这样做的一个好处就是你 可以用更低维度的特征向量代替原来的10 能力，产出预训练模型。再通过大规模预 训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等

使⽤ TensorFlow Hub 迁移学习 • 使⽤ @tf.function 提升性能 • 使⽤ TensorFlow Serving 部署云端服务 • 使⽤ TensorFlow Lite 实现边缘智能 目录 使⽤ TensorFlow 2 实现图像数据增强 使⽤ TensorFlow 2 实现分布式训练 使⽤ TensorFlow Hub 迁移学习 7 8 9 11 12

Rotate Rotate Scale Crop Part Noise ▪ Data argumentation will help ▪ But not too much 下一课时 艺术风格迁移 Thank You.

部分 高级处理 验证得到的 数据是否匹 配前提要求 ，估测特定 系数，对 目 标进行分类 •图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 5 图像分类 6 目标检测 目标检测结合了目标分类和定位两个任务。 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5