10 月 19 日 预览版202112 声 明 得益于简洁优雅的设计理念，基于动态图的 PyTorch 框架在学术圈广受好评，绝大多数 最新算法是基于 PyTorch 实现的，众多的第三方 AI 框架应用，例如 mmdetection、mmaction2、 transformer、speechbrain 等均以 PyTorch 为基础开发，可见掌握 PyTorch 框架在人工智能行 业中的重要地位。 进行实现。考虑到本人能力有限、行文仓促，可 以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch

线性回归-概念 线性回归（Linear Regression） 是一种通过属性的线性组合来进行预测 的线性模型，其目的是找到一条直线或 者一个平面或者更高维的超平面，使得 预测值与真实值之间的误差最小化。 6 线性回归-符号约定 建筑面积 总层数 楼层 实用面积 房价 143.7 31 10 105 36200 162.2 31 8 118 37000 199.5 10 10 170 错误程度，损失函数值越小，模型就越好。 常用的损失函数包括：0-1损失函数、平方 损失函数、绝对损失函数、对数损失函数等 。 代价函数(Cost Function)度量全部样本集的 平均误差。常用的代价函数包括均方误差、 均方根误差、平均绝对误差等。 目标函数(Object Function)代价函数和正则 化函数，最终要优化的函数。 备注：损失函数的系数1/2是为了便于计算，使对平方项求导后的常数系数为1， L1的功能是 使权重稀疏 在损失函数 中加入权值 向量w的平 方和，L2的 功能是使权 重平滑。 29 4. 回归的评价指标 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 30 回归的评价指标 其中，?(?) 和ෝ?(?)分别表示第?个样本的真实值和预测值，? 为样本个数。 均方误差（Mean Square Error,MSE） MSE =

模型选择、欠拟合和过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 iii 4.4.1 训练误差和泛化误差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 4.4.2 模型选择 . . . . . 什么做出某些算法决策的讨论。虽然一些互动资源已经零星地出现以解决特定主题。例如，在网站Distill1上 发布的引人入胜的博客帖子或个人博客，但它们仅覆盖深度学习中的选定主题，并且通常缺乏相关代码。另 一方面，虽然已经出现了几本教科书，其中最著名的是 (Goodfellow et al., 2016)（中文名《深度学习》），它 对深度学习背后的概念进行了全面的调查，但这些资源并没有将这些概念的描述与这些概念的代码实现结合 组合在单节中。而一些想 法可能最好是通过连续允许几个模型来传授。另一方面，坚持“一个工作例子一节”的策略有一个很大的好 处：这使你可以通过利用我们的代码尽可能轻松地启动你自己的研究项目。只需复制这一节的内容并开始修 改即可。 我们将根据需要将可运行代码与背景材料交错。通常，在充分解释工具之前，我们常常会在提供工具这一方 面犯错误（我们将在稍后解释背景）。例如，在充分解释随机梯度下降为什么有用或为什么有效之前，我们可

2x ix nx 7 1.人工神经网络发展历史 1986年，Rumelhart和 McClelland为首的科学家提出了 BP（Back Propagation）神经 网络的概念，是一种按照误差逆 向传播算法训练的多层前馈神经 网络，目前是应用最广泛的神经 网络。 BP神经网络模型 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b ?? 上的均方 误差 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb qb . . . . . . . . . . . . ,1 ˆky , ˆk j y , ˆk l y ih v dh v 1 j w 2 j w hj w qj w . . . . . . kx ො?? 预测均方误差 ?? = , ˆk j y , ˆk l y ih v dh v 1 j w 2 j w hj w ??? . . . . . . kx ˆky ??? ??ℎ? 对权重求导 k E 误差 ??? ??ℎ? = ??? ? ො?? ? ⋅ ? ො?? ? ??? ⋅ ??? ??ℎ? ??? ? ො?? ? = ො?? ? − ?? ? ? ො?? ?

在 Kubernetes 下的微服务治理最 佳实践 方剑 阿里云云原生应用平台 高级开发工程师 观看视频回放 • Spring Cloud Alibaba PMC member • Apache RocketMQ Committer • Alibaba Nacos Committer • 阿里云 MSE 云产品核心研发 方剑(洛夜)自我介绍 "The microservice architectural

. . . . . . . . . . . . . . . 29 3.3.6.4 处理已保存模型中的自定义层（或其他自定义对象） . . . . . . . 30 3.3.7 为什么训练误差比测试误差高很多？ . . . . . . . . . . . . . . . . . . . . . . 31 3.3.8 如何获取中间层的输出？ . . . . . . . . . . . . . . . . . . 31 3.3.9 如何用 Keras 处理超过内存的数据集？ . . . . . . . . . . . . . . . . . . . . 32 3.3.10 在验证集的误差不再下降时，如何中断训练？ . . . . . . . . . . . . . . . . 32 3.3.11 验证集划分是如何计算的？ . . . . . . . . . . . . . . . 12 在训练过程中数据是否会混洗？ . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.13 如何在每个 epoch 后记录训练集和验证集的误差和准确率？ . . . . . . . . 32 3.3.14 如何「冻结」网络层？ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

作为输入，计算一个值来估计网络的输出和目标值相差多少。 译者注：output 为网络的输出，target 为实际值 nn 包中有很多不同的损失函数。 nn.MSELoss是一个比较简单的损失函数，它计算输出和目标间的均方误差， 例如： output = net(input) target = torch.rand(10) target = target.view(1, -1) criterion = nn.MSELoss() object at 0x7f417c5f34f0> 反向传播 调用 loss.backward() 获得反向传播的误差。 但是在调用前需要清除已存在的梯度，否则梯度将被累加到已存在的梯度。 现在，我们将调用 loss.backward()，并查看 conv1 层的偏差（bias）项在反向传播前后的梯度。 net

y_true和预测值y_pred. 22 2.Scikit-learn主要用法 评价指标 回归模型评价 metrics.mean_absolute_error() | 平均绝对误差MAE metrics.mean_squared_error() | 均方误差MSE metrics.r2_score() | 决定系数R2. 23 2.Scikit-learn主要用法 评价指标 分类模型评价 metrics.accuracy_score()

缺失值处理 剪枝 特征属性多次使用 ID3 分类 多叉树 信息增益 不支持 不支持 不支持 不支持 C4.5 分类 多叉树 信息增益率 支持 支持 支持 不支持 CART 分类 回归 二叉树 基尼指数 均方差 支持 支持 支持 支持 1.决策树原理 决策树的三种基本类型 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同 的 目 标 函 数 ， 建 立 决 策 树 主 要 有 一 st-pruning） 通过剪枝处理去掉一些分支来降低过拟合的风险。 20 C4.5的剪枝 预剪枝（prepruning） 预剪枝不仅可以降低过拟合的风险而且还可以 减少训练时间，但另一方面它是基于“贪心” 策略，会带来欠拟合风险。 编号 色泽 根蒂 敲声 纹理 脐部 触感 好瓜 1 青绿 蜷缩 浊响 清晰 凹陷 硬滑 是 2 乌黑 蜷缩 沉闷 清晰 凹陷 硬滑 是 3 乌黑 CART算法 28 4.CART算法 CART ⚫ Classification and Regression Tree (CART) 是决策树的一种。 ⚫ 用基尼指数来选择属性（分类），或用均方差来选择属性（回归）。 ⚫ 顾名思义，CART算法既可以用于创建分类树，也可以用于创建回归 树，两者在构建的过程中稍有差异。 ⚫ 如果目标变量是离散的，称为分类树。 ⚫ 如果目标变量是连续的，称为回归树。

− ??(?) 2 21 的 2.K-means聚类 K-means优化过程 记?个簇中心为?1, ?2, . . . , ??，每个簇的样本数目为?1, ?2,..., ?? 使用平方误差作为目标函数: 对关于从?1, ?2, ⋯ ??的函数求偏导，这里的求偏 导是对第?个簇心??求的偏导。故而其驻点为: ?(?1, ?2, ⋯ ??) = 1 2 ෍ ?=1 ? ෍ 得到层次化的类别。 AGENES 聚合聚类 e d c c,d,e d,e a,b,c,d,e b a a,b Step0 Step4 Step1 Step2 Step3 聚 类 方 向 41 层次聚类-分裂聚类 分裂聚类 ⚫ 开始将所有样本分到一个簇； ⚫ 之后将已有类中相距最远的样本分到 两个新的簇； ⚫ 重复此操作直到满足停止条件； ⚫ 得到层次化的类别。 DIANA 分裂聚类 e d c c,d,e d,e a,b,c,d,e b a a,b Step4 Step0 Step3 Step2 Step1 聚 类 方 向 42 4. 聚类的评价指标 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 43 (1) 均一性：? 类似于精确率，一个簇中只包含一个类别的样本，则