自定义数据集实战 主讲：龙良曲 Pokemon Go! Pokemon Dataset https://www.pyimagesearch.com/2018/04/16/keras-and-convolutional-neural-networks-cnns/ Download ▪ 链接: https://pan.baidu.com/s/1V_ZJ7ufjUUFZwD2NHSNMFw

函数（只能是标量）将值取出来：loss_output.item() 1.Tensors张量的概念 8  Tensor与NumPy的异同 对比项 NumPy Tensor 相同点 可以定义多维数组，进行切片、改变维度、 数学运算等 可以定义多维数组，进行切片、改变维度、数学运 算等 不同点 1、产生的数组类型为 numpy.ndarray； 2、会将ndarray放入 CPU中进行运算； 3、导入方式为import Autograd自动求导 03 神经网络 04 训练一个分类器 27 3. 神经网络 可以使用torch.nn包来构建神经网络. 你已知道autograd包,nn包依赖autograd 包来定义模型并求导.一个nn.Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29 autograd. backward Torch.optims .step parallel init nn.ModuleDict 定义网络层 构建网络 前向传播 反向传播 优化参数 3. 神经网络 30 3. 神经网络 神经网络的典型训练过程如下: • 定义神经网络模型,它有一些可学习的参数(或者权重); • 在数据集上迭代; • 通过神经网络处理输入; • 计算损失(输出结果和正确值的差距大小)

高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ?也趋近于零，则称? = ?(?)在点 ?0处连续。 lim Δ?→0Δ? = lim Δ?→0 ? ?0 + Δ? − ? ?0 = 0 33 函数?(?) 在点 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 )⋂? = ?⋂(?⋂?) (3) 分配律：(?⋃?)⋂? = (?⋂?)⋃(?⋂?) (4) 德.摩根律: ?⋃? = ?⋂? ?⋂? = ?⋃? 45 概率论与数理统计-古典型概率 定义：试验?中样本点是有限的，出现每一样本点的概率是相同 。 一袋中有8个球，编号为1－8，其中1－3号为红球，4－8号为黄球， 设摸到每一球的可能性相等，从中随机摸一球，记? ={ 摸到红球 }，求 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 58 Python函数 ⚫调用函数 调用内置函数 ⚫定义函数 def 函数名()： 函数内容 ⚫高阶函数 匿名函数：高阶函数传入函数时，不需要显式地定义函数，直接传入匿名函数更方便 （lambda函数） 59 ⚫NumPy ⚫Pandas ⚫SciPy ⚫Matplotlib

2.4 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 3.3 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.3.4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 ii 3.3.6 定义优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.7 训练 . . . . . .

7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3 宝可梦数据集实战 15.4 迁移学习 15.5 Saved_model 15.6 模型部署 15.7 参考文献 预览版202112 的升级版本 Cafffe2，Caffe2 目前已经融入到 PyTorch 库中。 ❑ Torch 是一个非常优秀的科学计算库，基于较冷门的编程语言 Lua 开发。Torch 灵活性 较高，容易实现自定义网络层，这也是 PyTorch 继承获得的优良基因。但是由于 Lua 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了

或者 表示矩阵 的第 列： 我们用 或者 表示矩阵 的第 行： 在许多情况下，将矩阵视为列向量或行向量的集合非常重要且方便。 通常，在向量而不是标量上 操作在数学上（和概念上）更清晰。只要明确定义了符号，用于矩阵的列或行的表示方式并没有通 用约定。 2.矩阵乘法 两个矩阵相乘，其中 and ，则： 其中： 请注意，为了使矩阵乘积存在， 中的列数必须等于 中的行数。有很多方法可以查看矩阵乘法，我们 的行的线性组合，其中线性组合的系数由 的元素给出。 2.3 矩阵-矩阵乘法 有了这些知识，我们现在可以看看四种不同的（形式不同，但结果是相同的）矩阵-矩阵乘法：也就是 本节开头所定义的 的乘法。 首先，我们可以将矩阵 - 矩阵乘法视为一组向量-向量乘积。 从定义中可以得出：最明显的观点是 的 ， 元素等于 的第 行和 的的 列的内积。如下面的公式所示： 这里的 ， ， ， ， 这里的 ， ， ， ，所以它们可以计算内积。 的行作为 和 行之间的矩阵 向量积。公式如下： 这里第 行的 由左边的向量的矩阵向量乘积给出： 将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的 初始定义（在一行数学中）之后。 这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。 为了完全理解线 性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。 实

试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测 度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素， 样本空间 ：随机实验的所有结果的集合。在这里，每个结果 可以被认为是实验结束时现 实世界状态的完整描述。 事件集（事件空间） ：元素 的集合（称为事件）是 如果 ，则： (布尔不等式)： (全概率定律)：如果 ， ， 是一些互不相交的事件并且它们的并集是 ，那么它们的概率之 和是1 1.1 条件概率和独立性 假设 是一个概率非0的事件，我们定义在给定 的条件下 的条件概率为： 换句话说， )是度量已经观测到 事件发生的情况下 事件发生的概率，两个事件被称为独立事件 当且仅当 （或等价地， )。因此，独立性相当于是说观察到事 件 对于事件 是一个随机变量，表示十次投掷硬币中的正面数，那么 ， ， ， ， 。 性质： 2.3 概率密度函数 对于一些连续随机变量，累积分布函数 处可微。在这些情况下，我们将概率密度函数(PDF)定义 为累积分布函数的导数，即： 请注意，连续随机变量的概率密度函数可能并不总是存在的(即，如果它不是处处可微)。 根据微分的性质，对于很小的 ， CDF和PDF(当它们存在时！)都可用于计算

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.1 自定义 Variable 数据与网络训练 19 4.2 准确率的可视化 22 4.3 分类结果的可视化 23 4.4 自定义 Dataset 数据集 25 3 4.5 总结 27 Literature . . . . . . . . . . . . . Dataset 以及 torch.utils.data.DataLoader。 Dataset 存储样本以及它们的标签等信息，Dataset 可以使用预加载的数据集（例如 mnist）， 也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 batch_size 数量的样本导出。 注意，前面已经导入过的 python 包我们就不再重复导入了。 data import DataLoader 前面说过，Dataset 可以存储自定义数据，我们可以继承 Dataset 类，在子类中实现一些固定 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开始构建神经网络模型。等第四章我们再描述如何自定义数据集。 我们一次写一个完整的程序来把数据可视化一下： from torchvision

29 3.3.6.3 只保存/加载模型的权重 . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.6.4 处理已保存模型中的自定义层（或其他自定义对象） . . . . . . . 30 3.3.7 为什么训练误差比测试误差高很多？ . . . . . . . . . . . . . . . . . . . . . . 31 3.3 137 8.2.5 sparse_top_k_categorical_accuracy . . . . . . . . . . . . . . . . . . . . . . 138 8.3 自定义评价函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 9 优化器 Optimizers 10.1 激活函数的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 10.2 预定义激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 10.2.1 softmax

��������������������������������������������������������������������������������������� 5 1.4.2 张量定义与声明 ����������������������������������������������������������������������������������������������� (functional)、损 失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 深度学习主要是针对张量的数据操作、这些数据操作从简单到 复杂、多数都是以矩阵计算的形式存在，最常见的矩阵操作就 是加减乘除、此外卷积、池化、激活、也是模型构建中非常有 用的算子 / 操作数。Pytorch 支持自定义算子操作，可以通过 自定义算子实现复杂的网络结构，构建一些特殊的网络模型。 张量跟算子 / 操作数一起构成了计算图，它们是也是计算图的 基本组成要素。 ● 计算图 深度学习是基于计算图完成模型构建，实现数据在各个计算图