MLP反向传播 主讲人：龙良曲 Chain rule ▪ ?? ???? ? = ?? ??? 1 ??? 1 ?? = ?? ??? 2 ??? 2 ??? 1 ??? 1 ?? ∑ E ?? ∑ ??? ? ??? ? ?? ? ?? ? Multi-output Perceptron ∑ σ E ?0 0 ?1 0 ?2 0

4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 7.6 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 第 10 章 卷积神经网络 10.1 全连接网络的问题 10.2 卷积神经网络 10.3 卷积层实现 10.4 LeNet-5 实战 10.5 表示学习 10.6 梯度传播 10.7 池化层 10.8 BatchNorm 层 预览版202112 10.9 经典卷积网络 10.10 CIFAR10 与 VGG13 实战 10.11 卷积层变种

基本不会用它。 Tanh激活函数：tanh是非常优秀的，几乎适合所有 场合。 ReLu激活函数：最常用的默认函数，，如果不确定 用哪个激活函数，就使用ReLu或者Leaky ReLu。 11 4.反向传播算法 ൡ ? ? ? ⟹ ? = ??? + ? ⟹ ? = ?(?) ⟹ ? ?, ? ൡ ? ? ? ⏟ ??=??⋅?,??=?? ⟸ ? = ??? + ? ⏟ ??=? )=?′(?) ⟸ ) ? = ?(?) ⟸ ?(?, ? ⏟ ??= ? ??? ?,? =(−?log?−(1−?)log(1−?))′=−? ?+1−? 1−? 12 4.反向传播算法 因为 ??(?,?) ?? = ?? ?? = ( ?? ??) ⋅ ( ?? ??) 并且 ?? ?? = ? ⋅ (1 − ?)， 而 ??(?,?) ?? = ?? = ??(?,?) ?? = ?? ?? = ?? ?? ⋅ ?? ?? = (− ? ? + (1−?) (1−?)) ⋅ ?(1 − ?) = ? − ? 13 4.反向传播算法 第一步，计算?1 ሾ1], ?1 ሾ1] = ?1 ሾ1]?? + ?1 ሾ1]。 第二步，通过激活函数计算?1 ሾ1], ?1 ሾ1] = ?(?1 ሾ1])。 ?2

一个简单的例子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 2.5.2 非标量变量的反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . 7 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.3 反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 4.7.4 训练神经网络 . . . . .

如果一个节点的requires_grad是True，那么所有依赖它的节点 requires_grad也会是True。 换言之，如果一个节点依赖的所有节点都不需要求导，那么它的 requires_grad也会是False。在反向传播的过程中，该节点所在的子图会被 排除在外。 21 2. Autograd自动求导 Function类 我们已经知道PyTorch使用动态计算图(DAG)记录计算的全过程,DAG的节 点是 .grad_fn属性记录这个计算图的入口。反向传播过程中，autograd引擎会 按照逆序，通过Function的backward依次计算梯度。 22 2. Autograd自动求导 backward函数 backward函数是反向传播的入口点，在需要被求导的节点上调用 backward函数会计算梯度值到相应的节点上。 backward函数是反向求导数，使用链式法则求导。 backwa 这是因为有些Tensor可能有多个输出，那么就需要调用多个backward。叠加的处理 方式使得backward不需要考虑之前有没有被计算过导数，只需要加上去就行了，这 使得设计变得更简单。 因此我们用户在反向传播之前，常常需要用zero_grad函数对导数手动清零，确保 计算出来的是正确的结果。 24 2. Autograd自动求导 l1 = input x w1 l2 = l1 + w2

神经网络的典型训练过程如下： 1. 定义包含一些可学习的参数(或者叫权重)神经网络模型； 2. 在数据集上迭代； 3. 通过神经网络处理输入； 4. 计算损失(输出结果和正确值的差值大小)； 5. 将梯度反向传播回网络的参数； 6. 更新网络的参数，主要使用如下简单的更新原则： weight = weight - learning_rate * gradient 原文链接：pytorch 入门笔记 -03- 0525, -0.0239, -0.0056, -0.0597, 0.0184, -0.0300]], grad_fn=) 将所有参数的梯度缓存清零，然后进行随机梯度的的反向传播： net.zero_grad() out.backward(torch.randn(1, 10)) note torch.nn 只支持小批量输入。整个 torch.nn 包都只支持小批量样本，而不支持单个样本。 上运行、导出、加载等。 ● nn.Parameter：一种变量，当把它赋值给一个Module 时，被自动 地注册为一个参数。 ● autograd.Function：实现一个自动求导操作的前向和反向定义，每个变量操作至少创建一个函数 点，每一个Tensor 的操作都会创建一个接到创建Tensor 和编码其历史 的函数的Function 节点。 重点如下： ● 定义一个网络 ● 处理输入，调用

RNN的前向传播 ?<0> =0 rnn=nn.RNN(input size=10,hidden size=20,num layers=2) 9 2.循环神经网络(RNN) RNN的前向传播 ? = ?1(???? + ???? + ??) ̰? = ?2(???? + ??) 10 2.循环神经网络(RNN) RNN的反向传播 11 2 lstm=nn.LSTM(input size=10,hidden size=20,num layers=2) 18 3.长短期记忆(LSTM) LSTM的前向传播 19 3.长短期记忆(LSTM) LSTM的反向传播 ??? ⟨?⟩ = ?????? ∗ tanh(?????) ∗ ?? ⟨?⟩ ∗ (1 − ?? ⟨?⟩) ? ǁ?⟨?⟩ = ?????? ∗ ?? ⟨ ? + ?? ⟨?⟩(1 − tanh(?????)2) ∗ ????? ∗ ?????? ∗ ?? ⟨?⟩ ∗ (1 − ?? ⟨?⟩) 20 3.长短期记忆(LSTM) LSTM的反向传播 参数求导 ??? = ??? ⟨?⟩ ∗ ????? ?? ? ??? = ? ǁ?⟨?⟩ ∗ ????? ?? ? ??? = ??? ⟨?⟩ ∗ ????? ?? ?

此外，用户需要一些 ReadOnly 权限，某些角色需要权限来提升对子对象的权限。这些设置会根据您是否 将集群安装到现有文件夹而有所不同。 例 1.2. 所需的权限和传播设置 vSphere 对 对象 象 文件 文件夹类 夹类型 型 传 传播到子 播到子对 对象 象 所需的 所需的权 权限 限 vSphere vCenter Always False 列出所需的权限 vSphere vCenter 此外，用户需要一些 ReadOnly 权限，某些角色需要权限来提升对子对象的权限。这些设置会根据您是否 将集群安装到现有文件夹而有所不同。 例 1.4. 所需的权限和传播设置 vSphere 对 对象 象 文件 文件夹类 夹类型 型 传 传播到子 播到子对 对象 象 所需的 所需的权 权限 限 vSphere vCenter Always False 列出所需的权限 vSphere vCenter 此外，用户需要一些 ReadOnly 权限，某些角色需要权限来提升对子对象的权限。这些设置会根据您是否 将集群安装到现有文件夹而有所不同。 例 1.6. 所需的权限和传播设置 vSphere 对 对象 象 文件 文件夹类 夹类型 型 传 传播到子 播到子对 对象 象 所需的 所需的权 权限 限 vSphere vCenter Always False 列出所需的权限 vSphere vCenter

书的内容建议和出现的错误欢迎在网站留言。 0.1 本书前言 尽管各种关于神经网络 python 实战的资料已经很多了，但是这些资料也各有优点和缺点，有 时候也很难让新手有比较好的选择。 当我们明白何为“神经网络”，何为“反向传播”时，我们就已经具备了开始搭建和训练网络 的能力。此时，最好的方法就是给我们一个由简及难的程序示例，我们能够快速搭建出一个网络， 我们可以开始训练，以及指导如何计算训练后的结果准确率等信息。 batch ∗ len (X) print ( f ” l o s s : ␣{ l o s s :>7 f }␣␣ [{ current :>5d}/{ s i z e :>5d }] ” ) 在反向传播中，首先令优化器的梯度归 0，因为梯度是默认相加的（.step 函数会把 loss.backward() 得到的梯度累加到原来的梯度值上），因此为了防止梯度不断累积，需要归 0。 我们打印输出一下 test_loss :>8 f }␣\n” ) 测试集有 10000 个数据，with torch.no_grad() 的意义是不再构建计算图。因为 pytorch 在运 算时会首先构建计算图，用于后面的反向传播算法等操作，我们测试正确率时不需要构建计算图。 pred.argmax(1) 表示向量中最大的一个数的索引，即为我们预测的当前数据类别。然后，.sum 函 数得到一个 batch 里的所有预测正确的次数。

nx 7 1.人工神经网络发展历史 1986年，Rumelhart和 McClelland为首的科学家提出了 BP（Back Propagation）神经 网络的概念，是一种按照误差逆 向传播算法训练的多层前馈神经 网络，目前是应用最广泛的神经 网络。 BP神经网络模型 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb 最终达到训练网络的目的。 26 3.BP算法 算法流程回顾： 1.将输入样本提供给输入层神经元 2.逐层将信号前传至隐层、输出层，产 生输出层的结果 3.计算输出层误差 4.将误差反向传播至隐藏层神经元 5.根据隐层神经元对连接权重和阈值进 行调整 6.上述过程循环进行，直至达到某些停 止条件为止 1h v 输入层 输出层 隐层 1x ix dx 1b 2b 27 3.BP算法 优点： 1.能够自适应、自主学习。BP可以根据预设 参数更新规则，通过不断调整神经网络中的参 数，已达到最符合期望的输出。 2.拥有很强的非线性映射能力。 3.误差的反向传播采用的是成熟的链式法则， 推导过程严谨且科学。 4.算法泛化能力很强。 缺点： 1.BP神经网络参数众多，每次迭代需要更新 较多数量的阈值和权值，故收敛速度比较慢。 2.网络中隐层含有的节点数目没有明确的准则