全军出击：全连接层 主讲人：龙良曲 I know nothing Be practical nn.Linear relu? concisely ▪ inherit from nn.Module ▪ init layer in __init__ ▪ implement forward() Step1. Step2. Step3. nn.ReLU v.s. F.relu()

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

3.1.1 线性回归的基本元素 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 3.1.2 矢量化加速 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 3.1.3 正态分布与平方损失 网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.4.4 softmax运算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 4.1.1 隐藏层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 4.1.2 激活函数

6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 全连接网络的问题 10.2 卷积神经网络 10.3 卷积层实现 10.4 LeNet-5 实战 10.5 表示学习 10.6 梯度传播 10.7 池化层 10.8 BatchNorm 层 预览版202112 10.9 经典卷积网络 10.10 CIFAR10 与 VGG13 实战 10.11 卷积层变种 10.12 深度残差网络 10.13 DenseNet 循环神经网络 11.1 序列表示方法 11.2 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量

. . 17 3.2.3 所有的模型都可调用，就像网络层一样 . . . . . . . . . . . . . . . . . . . . 17 3.2.4 多输入多输出模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 3.2.5 共享网络层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.2.6 层「节点」的概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 目录 II 3.2.7 更多的例子 . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.7.1 Inception 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.7.2 卷积层上的残差连接 . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.7.3 共享视觉模型 . . . . . . . . . . .

提供吸烟，烟雾，涉嫌吸毒 等场景的识别能力 SACC2017 深度学习介绍 深度网络训练选择 加快训练 - 分布式训练系统 图像海量数据的积累 02 深度学习技术介绍 加快计算 - 深度学习算法加速 RPN SACC2017 技 术 发 展 应 用 突 破 1956 达特茅 斯会议 标志AI 诞生 1957 神经网络 Perceptr on被罗 森布拉特 发明 1980 2006 多层深度网络在学习什么 SACC2017 深度学习 – 解决问题的统一框架 1 SACC2017 深度学习 - 如何设计网络结构 AlexNet,8层,,I型 VGGNet,19层,I型 GoogleNet,22层,W型 ResNet,152层,V型 3x3, 64 3x3, 64 relu 直线型 （I型） 局部双分支型 （V型） 局部多分支型 （W型） DenseNet Dual Path NA 112 TDP 250W 250W 250W 预算多V100， 预算少1080 TI SACC2017 深度学习 – 打通训练和应用的闭环 RapidFlow 训练平台 底层硬件加速 操作系统 应用场景 add conv w x b 公共计算库 X86 优化 Android 优化 iOS 优化 GPU 优化 内存池 硬件设备 网络模型 • 越来越多的

上手难度 易用性 兼容性 发展前景 0 小结 VS PyTorch生态 TorchVision PyTorch能做什么？ • GPU加速 • 自动求导 • 常用网络层 1. GPU加速 2. 自动求导 3. 常用网络层 ▪ nn.Linear ▪ nn.Conv2d ▪ nn.LSTM ▪ nn.ReLU ▪ nn.Sigmoid ▪ nn.Softmax

MNIST 手写体数字介绍 MNIST 数据集中的图像都是256阶灰度图，即灰度值 0 表示白色（背景），255 表示 黑色（前景），使用取值为［0，255］的uint8数据类型表示图像。为了加速训练，我 们需要做数据规范化，将灰度值缩放为［0，1］的float32数据类型。 255 0 MNIST 手写体数字介绍 下载和读取 MNIST 数据集 一个曾广泛使用（如 chapter-2/basic-model 元的连接，上一层神经元的输出，作为下一层 神经元的输入。 线性不可分 激活函数（Activation Function） 为了实现神经网络的非线性建模能力，解决一些线性不可分的问题，我们通常使用激活函数 来引入非线性因素。激活函数都采用非线性函数，常用的有Sigmoid、tanh、ReLU等。 全连接层（ fully connected layers，FC ） 全连接层是一种对输入数 全连接层是一种对输入数据直接做线性变换的线性计算层。它是神经网络中最常用的一种层， 用于学习输出数据和输入数据之间的变换关系。全连接层可作为特征提取层使用，在学习特 征的同时实现特征融合；也可作为最终的分类层使用，其输出神经元的值代表了每个输出类 别的概率。 前向传播 前向传播 简化形式： 后向传播（ Back Propagation, BP） BP算法的基本思想是通过损失函数对模型参数进行求导， 并

array([1,2])建立数组； 4、numpy中没有x.type()的用法，只能使用 type(x)。 1、产生的数组类型为torch.Tensor； 2 、会将tensor放入GPU中进行加速运算（ 如果有GPU）； 3 、 导 入 方 式 为 import torch ， 后 续 通 过 torch.tensor([1,2])或torch.Tensor([1,2])建立数组； 4、 训练一个分类器 27 3. 神经网络 可以使用torch.nn包来构建神经网络. 你已知道autograd包,nn包依赖autograd 包来定义模型并求导.一个nn.Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29  PyTorch构建网络工具 torch Model() Loss() torch.autograd. backward Torch.optims .step parallel init nn.ModuleDict 定义网络层 构建网络 前向传播 反向传播 优化参数 3. 神经网络 30 3. 神经网络 神经网络的典型训练过程如下: • 定义神经网络模型,它有一些可学习的参数(或者权重); • 在数据集上迭代;

1869-1872, 2016. Sogou Inc 文本相关性计算 文本相关性计算 深度学习在搜狗搜索广告的一些应用 LSTM LSTM LSTM 中长款 牛仔 外套 ResNet-50层 CNN-LSTM Encoder CNN CNN 中长款牛仔外套 Cosine-Loss 广告物料推荐 深度学习在搜狗搜索广告的一些应用 方向 用途 相关技术 图像理解 图片物料推荐 使用成本低  构 建 多 机 多 卡 GPU集群，优化 训练效率，提高 加速比 现状和计划 现状  已经实现LR+DNN融合模型的上线，收益较好  受限于线上计算资源，模型复杂度有限  线下训练流程有依赖，繁琐易出错 计划  线上服务拆分，独立出深度学习计算模块，采用低功耗GPU加速  支撑更宽、更深、更复杂的网络结构  采用Wide & Deep，线下训练流程解耦