第五部分 实战 TensorFlow 手写体数字识别 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 手写体数字 MNIST 数据集介绍 • MNIST Softmax 网络介绍 • 实战 MNIST Softmax 网络 • MNIST CNN 网络介绍 • 实战 MNIST CNN 网络 第五部分 目录 手写体数字 MNIST 数据集介绍 MNIST

收敛速度比较慢 17 3.BP算法 主要步骤 第一步，对样本明确预测输出值与损失函数 第二步，明确参数调整策略 第三步，计算输出层阈值的梯度 第四步，计算隐层到输出层连接权值的梯度 第五步，计算隐层阈值的梯度 第六步，计算输入层到隐层连接权值的梯度 第七步，引出归纳结论 18 3.BP算法 第一步，明确损失函数 对样本 ??, ?? ，神经网络的预 测输出值为ො??。 ො?? ? ??? ??ℎ? = ?ℎ ??? ??ℎ? = ො?? ? ⋅ ො?? ? − ?? ? ⋅ 1 − ො?? ? ⋅ ?ℎ = −???ℎ 22 3.BP算法 第五步，计算隐层阈值??的梯度 ??? ??ℎ 利用链式法则，可得 其中， 所以有 令 更新公式 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b

ImageNet 中图像的宽和高比 MNIST 图像的多10倍以 上，因此，需要一个更大的卷积窗口来捕获目标。 第二层 中的卷积窗形状被缩减为 5×5 ，然后是 3×3 。 此外，在 第一层、第二层和第五层之后，加入窗口形状为 3×3 、步 幅为 2 的最大池化层。 此外，AlexNet 的卷积通道是 LeNet 的10倍。 • 在最后一个卷积层后有两个全连接层，分别有4096个输出。 这两个巨大的全连接层拥有将近

在图1中，它是实线。 它还找到与第一个轴正交的 第二个轴，它考虑了剩余方差的最大量。在这个 2D示例中，它是虚线。如果它是一个更高维的数 据集，PCA还会找到与前两个轴正交的第三个轴 ，以及第四个，第五个等等 - 与数据集中的维数 一样多的轴。 定义第 ? 轴的单位向量称为第 ? 个主成分 (PC) 。 • 在图1中，第一个 PC为 ?1，第二个 PC 为 ?2 。 • 在图2中，前两个 PC由平面中的正交箭头表

parameters optimizer.step() print('epoch {}, loss {}'.format(epoch, loss.item())) 这部分的代码注释都很清楚了，这里就不再赘述。 第五步：根据训练得到的参数，使用模型预测得到回归直线并 显示，代码如下： predicted = model(torch.from_numpy(x).requires_grad_()). data

True, True]) 这个例子表明第三个和第五个神经网络层的参数是绑定的。它们不仅值相等，而且由相同的张量表示。因此， 5.2. 参数管理 203 如果我们改变其中一个参数，另一个参数也会改变。这里有一个问题：当参数绑定时，梯度会发生什么情况？ 答案是由于模型参数包含梯度，因此在反向传播期间第二个隐藏层（即第三个神经网络层）和第三个隐藏层 （即第五个神经网络层）的梯度会加在一起。 小结 。由于ImageNet中大多数图像的宽和高比MNIST图像的多10倍 以上，因此，需要一个更大的卷积窗口来捕获目标。第二层中的卷积窗口形状被缩减为5×5，然后是3×3。此 外，在第一层、第二层和第五层卷积层之后，加入窗口形状为3 × 3、步幅为2的最大汇聚层。而且，AlexNet的 卷积通道数目是LeNet的10倍。 在最后一个卷积层后有两个全连接层，分别有4096个输出。这两个巨大的全连接层拥有将近1GB的模型参数。 Inception(528, 256, (160, 320), (32, 128), 128), nn.MaxPool2d(kernel_size=3, stride=2, padding=1)) 第五模块包含输出通道数为256 + 320 + 128 + 128 = 832和384 + 384 + 128 + 128 = 1024的两个Inception块。 其中每条路径通道数的分配思路和第三