1 2023年06月 机器学习-决策树 黄海广 副教授 2 本章目录 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 3 1.决策树原理 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 4 长相 能 帅 不帅 家庭背景 好 能 不好 人品 好 上进心 能 不能 有 有 无 不能 不好 1.决策树原理 ⚫ 决策树：从训练数据中学习得出一个树状 结构的模型。 ⚫ 决策树属于判别模型。 ⚫ 决策树是一种树状结构，通过做出一系列 决策（选择）来对数据进行划分，这类似 于针对一系列问题进行选择。 ⚫ 决策树的决策过程就是从根节点开始，测 试待分类项中对应的特征属性，并按照其 值选择输出分支，直到叶子节点，将叶子 节点的存放的类别作为决策结果。 node) 5 1.决策树原理 根节点 (root node) 非叶子节点 (non-leaf node) (代表测试条件，对数据属性的测试) 分支 (branches) (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。

所有基模型的预测形成新的测试集，最后再对测试集进行预测。 测试 数据 7 Random Forest（随机森林） 用随机的方式建立一个森林。随机森林算法由很多决策树组成，每一棵决 策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会 分别进行判断，然后基于投票法给出分类结果。 优点 1. 在数据集上表现良好，相对于其他算法有较大的优势 2. 易于并行化，在大数据集上有很大的优势； 体，它在以决策树为基学习器构建 Bagging 集成的 基础上，进一步在决策树的训练过程中引入了随机特 征选择，因此可以概括 随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征； 3. 构建决策树； 4. 随机森林投票（平均）。 随机森林 训练数据 Bootstrap随机抽取 决策树1 最终预测结果 测试 数据 决策树n …… 决策树2 预测1 根据权重1更新样本权重2 根据权重n-1更新样本权重n 强学 习器 相同方式更新…… 15 GBDT算法 GBDT（Gradient Boosting Decision Tree）是一种迭代的决策树算 法，该算法由多棵决策树组成，GBDT 的核心在于累加所有树的结果 作为最终结果，所以 GBDT 中的树都是回归树，不是分类树，它是属 于 Boosting 策略。GBDT 是被公认的泛化能力较强的算法。

clf.fit(X_train, y_train) y_pred = clf.predict(X_test) y_prob = clf.predict_proba(X_test) 使用决策树分类算法解决二分类问题， y_prob 为每个样本预测为 “0”和“1”类的概率 16 1.Scikit-learn概述 逻辑回归 支持向量机 朴素贝叶斯 K近邻 linear_model.LogisticRegression _depth=5) scores = cross_val_score(clf, X_train, y_train, cv=5, scoring=’f1_weighted’) 使用5折交叉验证对决策树模型进行评估， 使用的评分函数为F1值 sklearn提供了部分带交叉验证功能的模型 类如LassoCV、LogisticRegressionCV等， 这些类包含cv参数 26 2.Scikit-learn主要用法

线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、 感知机和SVM、神经网络。另外，线性回归类的几个模型一般情况下也 是需要做数据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取 值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及 朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。

线性模型，如基于距离度量的模型包括KNN(K近邻)、K-means聚类、 感知机和SVM。另外，线性回归类的几个模型一般情况下也是需要做数 据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取 值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及 朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。

➢利用正则化，如L1, L2 范数，主要应用于如线性回归、逻辑回归以及 支持向量机(SVM)等算法；优点：降低过拟合风险；求得的 w 会有 较多的分量为零，即：它更容易获得稀疏解。 ➢使用决策树思想，包括决策树、随机森林、Gradient Boosting 等。 嵌入式 4. 特征选择 36 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 在

因此我们通常会放宽条件，先观察问题是否适合使 用回溯（穷举）解决。 适合用回溯解决的问题通常满足“决策树模型”，这种问题可以使用树形结构来描述，其中每一个节点代表 一个决策，每一条路径代表一个决策序列。 换句话说，如果问题包含明确的决策概念，并且解是通过一系列决策产生的，那么它就满足决策树模型，通 常可以使用回溯来解决。 在此基础上，还有一些动态规划问题的“加分项”，包括： ‧ 问题 的状态存在递推关系。 而相应的“减分项”包括： ‧ 问题的目标是找出所有可能的解决方案，而不是找出最优解。 ‧ 问题描述中有明显的排列组合的特征，需要返回具体的多个方案。 如果一个问题满足决策树模型，并具有较为明显的“加分项“，我们就可以假设它是一个动态规划问题，并 在求解过程中验证它。 14. 动态规划 hello‑algo.com 282 14.3.2. 问题求解步骤 动态规划的 hello‑algo.com 291 Figure 14‑17. 0‑1 背包的示例数据 我们可以将 0‑1 背包问题看作是一个由 ? 轮决策组成的过程，每个物体都有不放入和放入两种决策，因此该 问题是满足决策树模型的。 该问题的目标是求解“在限定背包容量下的最大价值”，因此较大概率是个动态规划问题。 第一步：思考每轮的决策，定义状态，从而得到 ?? 表 对于每个物品来说，不放入背包，背包容量不变；放

因此我们通常会放宽条件，先观察问题是否适合使 用回溯（穷举）解决。 适合用回溯解决的问题通常满足“决策树模型”，这种问题可以使用树形结构来描述，其中每一个节点代表 一个决策，每一条路径代表一个决策序列。 换句话说，如果问题包含明确的决策概念，并且解是通过一系列决策产生的，那么它就满足决策树模型，通 常可以使用回溯来解决。 在此基础上，还有一些动态规划问题的“加分项”，包括： ‧ 问题 的状态存在递推关系。 而相应的“减分项”包括： ‧ 问题的目标是找出所有可能的解决方案，而不是找出最优解。 ‧ 问题描述中有明显的排列组合的特征，需要返回具体的多个方案。 如果一个问题满足决策树模型，并具有较为明显的“加分项“，我们就可以假设它是一个动态规划问题，并 在求解过程中验证它。 14.3.2. 问题求解步骤 动态规划的解题流程会因问题的性质和难度而有所不同，但通常遵循以下步骤：描述决策，定义状态，建立 ?[? − 1] 。 Figure 14‑17. 0‑1 背包的示例数据 我们可以将 0‑1 背包问题看作是一个由 ? 轮决策组成的过程，每个物体都有不放入和放入两种决策，因此该 问题是满足决策树模型的。 该问题的目标是求解“在限定背包容量下的最大价值”，因此较大概率是个动态规划问题。 第一步：思考每轮的决策，定义状态，从而得到 ?? 表 对于每个物品来说，不放入背包，背包容量不变；放

因此我们通常会放宽条件，先观察问题是否适合使 用回溯（穷举）解决。 适合用回溯解决的问题通常满足“决策树模型”，这种问题可以使用树形结构来描述，其中每一个节点代表 一个决策，每一条路径代表一个决策序列。 换句话说，如果问题包含明确的决策概念，并且解是通过一系列决策产生的，那么它就满足决策树模型，通 常可以使用回溯来解决。 在此基础上，还有一些动态规划问题的“加分项”，包括： ‧ 问题 的状态存在递推关系。 而相应的“减分项”包括： ‧ 问题的目标是找出所有可能的解决方案，而不是找出最优解。 ‧ 问题描述中有明显的排列组合的特征，需要返回具体的多个方案。 如果一个问题满足决策树模型，并具有较为明显的“加分项“，我们就可以假设它是一个动态规划问题，并 在求解过程中验证它。 14. 动态规划 hello‑algo.com 281 14.3.2. 问题求解步骤 动态规划的 hello‑algo.com 290 Figure 14‑17. 0‑1 背包的示例数据 我们可以将 0‑1 背包问题看作是一个由 ? 轮决策组成的过程，每个物体都有不放入和放入两种决策，因此该 问题是满足决策树模型的。 该问题的目标是求解“在限定背包容量下的最大价值”，因此较大概率是个动态规划问题。 第一步：思考每轮的决策，定义状态，从而得到 ?? 表 对于每个物品来说，不放入背包，背包容量不变；放

因此我们通常会放宽条件，先观察问题是否适合使 用回溯（穷举）解决。 适合用回溯解决的问题通常满足“决策树模型”，这种问题可以使用树形结构来描述，其中每一个节点代表 一个决策，每一条路径代表一个决策序列。 换句话说，如果问题包含明确的决策概念，并且解是通过一系列决策产生的，那么它就满足决策树模型，通 常可以使用回溯来解决。 在此基础上，还有一些动态规划问题的“加分项”，包括： ‧ 问题 的状态存在递推关系。 而相应的“减分项”包括： ‧ 问题的目标是找出所有可能的解决方案，而不是找出最优解。 ‧ 问题描述中有明显的排列组合的特征，需要返回具体的多个方案。 如果一个问题满足决策树模型，并具有较为明显的“加分项“，我们就可以假设它是一个动态规划问题，并 在求解过程中验证它。 14. 动态规划 hello‑algo.com 283 14.3.2. 问题求解步骤 动态规划的 hello‑algo.com 292 Figure 14‑17. 0‑1 背包的示例数据 我们可以将 0‑1 背包问题看作是一个由 ? 轮决策组成的过程，每个物体都有不放入和放入两种决策，因此该 问题是满足决策树模型的。 该问题的目标是求解“在限定背包容量下的最大价值”，因此较大概率是个动态规划问题。 第一步：思考每轮的决策，定义状态，从而得到 ?? 表 对于每个物品来说，不放入背包，背包容量不变；放