2023年04月 深度学习-人脸识别和风格迁移 黄海广 副教授 2 01 人脸识别概述 02 神经风格迁移 本章目录 3 01 人脸识别概述 1.人脸识别概述 02 神经风格迁移 4 1.人脸识别概述 人脸验证（face verification） 人脸识别（face recognition） • 有一个K个人的人脸数据库 • 获取输入图像 验证输入图片是否是这个人 人脸聚类（Face Clustering） 在数据库中对人脸进行聚类， 直接K-Means即可。 5 1.人脸识别概述 人脸检测的步骤 • 人脸定位 确定是否存在人脸,人脸存在的位置、范围等 • 人脸对齐 把众多人脸图像转换到一个统一角度和姿势 • 确定关键点 关键点包括:眼角、鼻尖、嘴角等 6 1.人脸识别概述 人脸检测常用算法(深度学习框架) • HR • Face r-CNN • PyramidBox • FaceNet 7 1.人脸识别概述 One-Shot学习 在一次学习问题中，只能通过一个样本进行学习，以能够认 出同一个人。大多数人脸识别系统都需要解决这个问题。 系统需要做的就是，仅仅通过一张已有的照片，来识别前面 这个人确实是她。相反，如果机器看到一个不在数据库里的 人所示），机器应该能分辨出她不是数据库中四个人之一。

商品识别篇：使用 ResNet 识别你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：图像分类问题定义与说明 • 基础：越来越深的图像分类网络 • 应⽤用：检测SKU抠图与分类标注流程 • 应⽤用：分类训练集与验证集划分 • 应⽤用：使⽤用TensorFlow 2训练ResNet • 应⽤用：使用ResNet识别货架商品 • 扩展：图像分类常用数据集综述 扩展：图像分类常用数据集综述 • 扩展：图像分类更多应⽤用场景介绍 目录 基础：图像分类问题定义与说明 图像分类问题 语义级分类 细粒度分类 图像分类问题 实例级分类 识别问题 图像分类问题 实例级分类 识别问题 图像分类问题 图像分类评估：Top-1 / Top-5 准确率 图像分类评估：混淆矩阵 图像分类评估：ROC 曲线 基础：越来越深的图像分类网络 历年 SOTA 模型对比 “Hello TensorFlow” Try it！ 应⽤用：使⽤用 TensorFlow 2 训练 ResNet “Hello TensorFlow” Try it！ 应⽤用：使用ResNet识别货架商品 “Hello TensorFlow” Try it！ 扩展：图像分类常用数据集综述 https://github.com/zalandoresearch/fashion-mnist http://yann

第六部分 实战 TensorFlow 验证码识别 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 准备模型开发环境 • 生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 出问题的用户就可以被认为是人类。 一种常用的CAPTCHA测试是让用户输入一个扭曲变形的图片上所显示的文字或数字，扭 曲变形是为了避免被光学字符识别（OCR, Optical Character Recognition）之类的计算机程 序自动识别出图片上的文数字而失去效果。由于这个测试是由计算机来考人类，而不是 标准图灵测试中那样由人类来考计算机，人们有时称CAPTCHA是一种反向图灵测试。 EZ-Gimpy，PayPal使用的验证码，LiveJournal、 phpBB使用的验证码，很多金融机构（主要是银行）使用的网银验证码以及很多其他网站 使用的验证码。 俄罗斯的一个黑客组织使用一个自动识别软件在2006年破解了Yahoo的CAPTCHA。准确 率大概是15%，但是攻击者可以每天尝试10万次，相对来说成本很低。而在2008年， Google的CAPTCHA也被俄罗斯黑客所破解。攻击者使用两台不同的计算机来调整破解进

第五部分 实战 TensorFlow 手写体数字识别 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 手写体数字 MNIST 数据集介绍 • MNIST Softmax 网络介绍 • 实战 MNIST Softmax 网络 • MNIST CNN 网络介绍 • 实战 MNIST CNN 网络 第五部分 目录 手写体数字 MNIST 数据集介绍 MNIST 法真正流行起来，并带来了神经网络在80年代的辉煌。 计算梯度 MNIST Softmax 网络 将表示手写体数字的形如 [784] 的一维向量作为输入；中间定义2层 512 个神经元的隐藏层，具 备一定模型复杂度，足以识别手写体数字；最后定义1层10个神经元的全联接层，用于输出10 个不同类别的“概率”。 实战 MNIST Softmax 网络 MNIST Softmax 网络层 “Hello TensorFlow”

http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 02 深度学习技术介绍 03 内容审核的扩展和延伸 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家, 样本不足导致识别模型漏 过模型调优难度大 人力审核疲劳容易发 生漏过，人力招聘、 管理需要耗费不小成 本 识别种类 完备 节约成本 节省审核 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 字、二维码、logo等内容以及违规人像、淫 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常 的概率，并结合三者概率给出综合分，通过

SACC2017 图像 视频 检测 识别 分割 跟踪 物 环境 数 据 核 心 云端 移动端 业 务 视觉感知模型 SACC2017 视觉感知核心问题 Object Segmentation Object Classification Person, Horse, Barrier, Table, etc Object Detection 检测 识别 分割 跟踪 核 心 SACC2017 deconvolution convolution convolution 检测 Forward Block Forward Block convolution convolution 识别 Forward Block Forward Block SACC2017 视觉感知模型-融合 分割 Forward Block Forward Block deconvolution convolution 识别 Forward Block Forward Block Forward Block Forward Block deconvolution deconvolution 分割 convolution convolution 检测 识别 Single Frame Predictor SACC2017 视觉感知模型-融合 检测 识别 分割 跟踪 核 心

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库  标准化解决方案 1.方案复杂 Serving CV / NLP解决方案: EAS Web App Mobile App On-prem System 3 1 2 证件扫描 活体检测 人脸比对 • 卡证OCR • 人脸检测 • 活体检测 •人脸比对 Mobile SDK API + customer 示例: e-Know Your Customer eKYC eKYC Server eKYC

人工智能 大数据 更多的用户 更好的产品 更多的数据 更好的分析 围绕数据的“飞轮” 算法 数据 程序模型 GPUs & 计算加速 深度学习的爆发 图像理解 自然语言处理 语音识别 机器自主 AWS 之上的人工智能应用 Zillow • Zestimate (using Apache Spark) Howard Hughes Corp • Lead scoring for and AWS DynamoDB is really appealing.” Amazon Rekognition 基于深度学习的图像识别服务 目标和场景检测 面部分析 人脸比对 人脸识别 集成了 S3, Lambda, Polly, Lex 对象和场景识别 为成千上万的对象、场景和概念生成标签，并配有可信度的数字 • 检索、过滤并对 图片库去粗取精 • 对用户生成的内 容进行智能检索 Potted Plant Backyard 面部分析 在图像中定位人脸并分析面部的情绪，检测情感、姿势、地 标等特性 • 剪裁图片和重叠广告时需 要避开的面孔 • 获得人口学以及情感的数 据推荐最佳照片 • 提高在线约会匹配的推荐 • 动态的个性化广告 人脸比对 测量两张图片中同一个人的可能性 • 为应用和设备添加人脸 验证 • 扩展了物理安全控制的 应用领域 • 客人对VIP 设施的使用

ImageNet图像识别竞赛 赢得ImageNet 5项主要比赛中 的3项世界冠军 软银孙正义收购Google旗下的 机器人公司Boston Dynamics 和Schaft 通用 10亿美元 收购无人驾驶技 术初创公司Cruise Automation 首次中国公司在ImageNet竞赛 夺冠，视频分析技术登顶 人脸识别大幅提高精度，商汤科 技首次突破人类肉眼识别准确率 ，领先于Facebook ，领先于Facebook Google5000万美元招入 Hinton，发布基于深度学习的 搜索引擎 Microsoft 深度学习驱动的语音 识别大幅提升精度 软银孙正义设立1000亿美元人 工智能基金，320亿美元收购芯 片架构公司ARM 2016.7 公司简介 历史业绩 领先技术 20年 科研经验 800余位 技术研发人员 150余位 人工智能博士 唯一 深度学习 AI+金融 AI+智慧城市 AI+芯片 AI+无人驾驶 AI+智能手机 AI+医疗图像 AI+智慧城市：以智能安防场景为例 特征向量 AI+智慧城市 2015-2017 l单机、简易分布式人脸检测、跟踪、比对平台 l处理数十路到数百路监控摄像头数据 l千万级别深度学习特征检索 l行业试水 2018-2019 l云原生Cloud-Native超大规模视图存储、处理、检 索 l处理数万到数十万路，城市范围级别监控、门禁摄