过拟合&欠拟合 主讲人：龙良曲 Scenario1: house price Scenario2: GPA The ground-truth distribution? ▪ That’s perfect if known ▪ However Another factor: noise ▪ ? = ? ∗ ? + ? + ? ▪ ? ∽ ?(0.01, 1) ▪ 1.567 = w

01 数据集划分 02 评价指标 1.数据集划分 03 正则化、偏差和方差 4 训练集（Training Set）：帮助我们训练模型，简单的说就是通过 训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（ Dev Set ），用来做 模型选择（model selection），即做模型的最终优化及确定的， 用来辅助我们的模型的构建，即训练超参数，可选； 值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及 朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。 3.正则化、偏差和方差 19 过拟合和欠拟合 欠拟合 过拟合 正合适 20 过拟合的处理 1.获得更多的训练数据 使用更多的训练数据是解决过拟合问题最有效的手段，因为更多的样本能够让模型学习 到更多更有效的特征，减小噪声的影响。 2.降维 即丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一 ，它可以改善或者减少过拟合问题。 4.集成学习方法 集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。 21 通过这张图可以看出， 各种不同算法在输入的 数据量达到一定级数后 ，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 22 欠拟合的处理 1.添加新特征

数据集制作 03 数据归一化/标准化 04 正则化 05 偏差和方差 本章目录 3 训练集（Training Set）：帮助我们训练模型，简单的说就是通过 训练集的数据让我们确定拟合曲线的参数。 验证集（Validation Set）：也叫做开发集（ Dev Set ），用来做 模型选择（model selection），即做模型的最终优化及确定的， 用来辅助我们的模型的构建，即训练超参数，可选； 自定义一个继承自torch.utils.data.Dataset的类，在该类中实现__len__和 __getitem__方法。 7 过拟合和欠拟合 欠拟合 过拟合 正合适 8 过拟合的处理 1.获得更多的训练数据 使用更多的训练数据是解决过拟合问题最有效的手段，因为更多的样本能够让模型学习 到更多更有效的特征，减小噪声的影响。 2.降维 即丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一 ，它可以改善或者减少过拟合问题。 4.集成学习方法 集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。 9 通过这张图可以看出， 各种不同算法在输入的 数据量达到一定级数后 ，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 10 欠拟合的处理 1.添加新特征

8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 第 10 章 卷积神经网络 10.1 全连接网络的问题 ReLU)激活函数，这是现在使用最为广泛的激活函数之一。2012 年， Alex Krizhevsky 提出了 8 层的深层神经网络 AlexNet，它采用了 ReLU 激活函数，并使用 Dropout 技术来防止过拟合，同时抛弃了逐层预训练的方式，直接在两块 NVIDIA GTX580 GPU 上训练网络。AlexNet 在 ILSVRC-2012 图片识别比赛中获得了第一名的成绩，比第二 名在 Top-5 错误率上降低了惊人的 MNIST 手写数字图片数据集共包含 0~9 共 10 类数字，每个类别多达 7000 张图片。随着神经网络的兴起，尤其是深度学习，网络层数一 般较深，模型的参数量可达百万、千万甚至十亿个，为了防止过拟合，需要的数据集的规 模通常也是巨大的。现代社交媒体的流行也让收集海量数据成为可能，如 2010 年发布的 ImageNet 数据集收录了共 14197122 张图片，整个数据集的压缩文件大小就有 154GB。图

处理。 22 3. 正则化 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 23 过拟合和欠拟合 欠拟合 过拟合 正合适 24 过拟合的处理 1.获得更多的训练数据 使用更多的训练数据是解决过拟合问题最有效的手段，因为更多的样本能够让模型学习 到更多更有效的特征，减小噪声的影响。 2.降维 即丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一 ，它可以改善或者减少过拟合问题。 4.集成学习方法 集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。 25 通过这张图可以看出， 各种不同算法在输入的 数据量达到一定级数后 ，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 26 欠拟合的处理 1.添加新特征 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通 过挖掘组合特征等新的特征，往往能够取得更好的效果。 2.增加模型复杂度 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能 力。例如，在线性模型中添加高次项，在神经网络模型中增加网络层数或神经元 个数等。 3.减小正则化系数 正则化是用来防止过拟合的，但当模型出现欠拟合现象时，则需要有针对性地减 小正则化系数。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 4.4 模型选择、欠拟合和过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 iii 4.4.1 训练误差和泛化误差 模型选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 4.4.3 欠拟合还是过拟合？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 4.4.4 多项式回归 . . . . 暂退法（Dropout） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.6.1 重新审视过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.6.2 扰动的稳健性 . . .

推理过程容易理解，计算简单，可解释性强。 ⚫ 比较适合处理有缺失属性的样本。 ⚫ 可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性， 减少变量的数目提供参考。 缺点： ⚫ 容易造成过拟合，需要采用剪枝操作。 ⚫ 忽略了数据之间的相关性。 ⚫ 对于各类别样本数量不一致的数据，信息增益会偏向于那些更多数值的特 征。 决策树的特点 7 算法 支持模型 树结构 特征选择 连续值处理 非常好 是 11 老年 否 是 好 是 12 老年 是 否 好 是 13 老年 是 否 非常好 是 14 老年 否 否 一般 否 15 ID3算法 缺点 ID3 没有剪枝策略，容易过拟合； 信息增益准则对可取值数目较多的特征有所偏好，类似“编号”的特征 其信息增益接近于 1； 只能用于处理离散分布的特征； 没有考虑缺失值。 16 3.C4.5算法 01 决策树原理 02 的取值个数 19 C4.5的剪枝 过拟合的原因： 为了尽可能正确分类训练样本，节点的划分过程会不断重复直到不能再分，这 样就可能对训练样本学习的“太好”了，把训练样本的一些特点当做所有数据 都具有的一般性质，从而导致过拟合。 剪枝的基本策略有“预剪枝”（prepruning）和“后剪枝”（post-pruning） 通过剪枝处理去掉一些分支来降低过拟合的风险。 20 C4.5的剪枝

CreateML 相近的结果 https://github.com/apple/turicreate Demo ~ 90+ MB 过拟合，准确率 问题 No.2 ⼀一个⾼高度 的模型 Overfitting 过拟合 过拟合 过拟合 训练数据严重不不⾜足 只来源于单⼀一⼈人员和单⼀一场景 对于⾮非该⼈人员的识别相当低效 默认的训练⽅方式只对最后⼀一层进⾏行行训练

− ??(?))2 = ? − ??−1 ? − ? ?: ?? 2 = ? − ? ?: ?? 2 其中，? = ? − ??−1 ? ，为残差，所以第?棵决策树? ?: ?? 是对该残差的拟合 回归使用平方误差损失 注意：提升树算法中的基学习器CART树是回归树 ?? ? = ??−1 ? + ? ?: ?? GBDT算法 20 回归树问题的提升算法： 输入：训练数据集? = ?, ?? 输出：提升树??(?) 1 初始化?0 ? = 0 2 对? = 1,2, … ? (?)计算残差 ??? = ?? − ??−1 ?? , ? = 1,2, … , ? ? 拟合残差???学习一个回归树，得到?(?: ??) ? 更新??(?) = ??−1 ? + ? ?: ?? 3 得到回归提升树 ?? ? = ෍ ?=1 ? ?(?: ??) GBDT算法 5 5.63 6.83 6.56 5.82 GBDT算法 24 ? ?(?) ??(?) ?(?, ??(?)) 损失函数的负梯度在当 前模型的值作为提升树 的残差的近似值来拟合 回归树 GBDT算法 25 回归树的梯度提升算法： 输入：训练数据集? = ?1, ?1 , ?2, ?2 , … , ??, ?? ，损失函数L(?, ?(?)) 输出：提升树??(

训练数据研究发现，在训 练数据量很大的情况下，item 的大部分信息都可以被 ID 的 Embedding 向量进行表 示，但是用户 ID 在训练数据中是十分稀疏的，用户 ID 很容易导致模型过拟合，所以 需要大量的泛化特征来较好的表达用户。这些泛化特征可以分为两类：一类是偏静态 的特征，例如用户的基本属性（年龄、性别、职业等等）特征、长期偏好（品类、价格 等等）特征；另一类是动态变化的 选手根据这些数据集，利用行人在过去 3.6 秒的轨迹来预测其在未来 4.8 秒的运行轨 迹。竞赛使用 FDE（预测轨迹和真实轨迹的终点距离）来对各种算法进行排名。 本次的赛题数据集，主要来源于各类动态场景下的真实标注数据和模拟合成数据，采 集频率为 2.5 赫兹，即两个时刻之间的时间差为 0.4 秒。数据集中的行人轨迹都以固 定坐标系下的时序坐标序列表示，并且根据行人的周围环境，这些轨迹被分类成不同 的类别，例如静态 特征提取：为了更有效地进行结点的表示学习，提取了一些图的人工特征来让 GNN 进行更好地表示学习，例如结点的度、一阶邻居以及二阶邻居的特征均值等，我们对 于数值跨度大的特征进行分桶，对这些特征进行 Embedding，避免过拟合的同时保 证了数值的稳定性。 图神经网络模型 为了克服图的多样性挑战，我们结合谱域及空域两类图神经网络方法，采用了 GCN[11]、TAGConv[12]、GraphSAGE[4]、GAT[5]