2022年02月 机器学习-第四章 朴素贝叶斯 黄海广 副教授 2 本章目录 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 3 1.贝叶斯方法 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 4 1.贝叶斯方法-背景知识 先验概率： 后验概率： (?|?)?(?) ?(?) 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率 分布 ?(?, ?)，然后求得后验概率分布?(?|?)。 具体来说，利用训练数据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(?, ?)＝?(?|?) ?(?) 7 2.朴素贝叶斯原理 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯原理 9 2.朴素贝叶斯原理 1．朴素贝叶斯法是典型的生成学习方法。 生成方法由训练数据学习联合概率分布 ?(?, ?)，然后求得后验概率分 布?(?|?)。具体来说，利用训练数据学习?(?|?)和?(?)的估计，得到 联合概率分布： ?(?, ?)＝?(?)?(?|?) 概率估计方法可以是极大似然估计或贝叶斯估计。 10 2.朴素贝叶斯原理 2．朴素贝叶斯法的基本假设是条件独立性。

01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 2.KNN算法 11 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算 法，可以用于基本的分类与回归方法。 算法的主要思路： 如果一个样本在特征空间中与?个实例最为相似(即特征空间中最邻近)，那么这? 个实例中大多数属于哪个类别，则该样本也属于这个类别。 决等方式进行预测。 对于回归问题：对新的样本，根据其?个最近邻的训练样本标签值的均值作为预 测值。 12 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是 最简单的机器学习算法，可以用于基本的分类与回归方法。 ?近邻法的三要素： • ?值选择。 • 距离度量。 • 决策规则。 13 2.KNN算法 算法流程如下： 1.计算测试对象到训练集中每个对象的距离 ，发现（6,4）右侧的区域与该圆不相交，忽略该侧 所有节点，这样（6,4）的整个右子树被标记为已忽 略。 24 KD树搜索 3.如果不相交直接返回父节点，在另一个子 树继续搜索最近邻。 4.当回溯到根节点时，算法结束，此时保存 的最近邻节点就是最终的最近邻。 遍历完（4,5）的左右叶子节点，发现与当 前最优距离相等，不更新最近邻。 所以（4,4）的最近邻为（4,5）。 25 参考文献

6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 12.1 自编码器原理 12.2 MNIST 图片重建实战 12.3 自编码器变种 12.4 12.6 参考文献 第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 原理 13.3 DCGAN 实战 13.4 GAN 变种 预览版202112 13.5 纳什均衡 13.6 GAN 训练难题 13.7 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是 Scikit-learn 并不是专门面向神经网络而设计 的，不支持 GPU 加速，对神经网络相关层的实现也较欠缺。 ❑ Caffe 由华人贾扬清在 2013 年

嵌入式(Embedding): 是学习器自主选择特征 4. 特征选择 特征选择的三种方法 28 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 原理：先对数据集进行特征选择，然后再训练学习器 特征选择过程与后续学习器无关 也就是先采用特征选择对初始特征进行过滤，然后用过滤后的特征 训练模型 优点：计算时间上比较高效，而且对过拟合问题有较高的鲁棒性 特征选择 1、 Relief 方法 30 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 2、方差选择法 先要计算各个特征的方差，然后根据阈值，选择方差大 于阈值的特征。 3、相关系数法 先要计算各个特征对目标值的相关系数以及相关系数的 ? 值。 4、卡方检验 检验定性自变量对定性因变量的相关性。假设自变量有 ?种取值，因变量有?种取值，考虑自变量等于 5、互信息法 概念：经典的互信息也是评价定性自变量对定性因变量的相关性的。 为了处理定量数据，最大信息系数法被提出。 互信息计算公式如下： ?(X; Y) = ෍ ?∈? ෍ ?∈? ?(?, ?) log ?(?, ?) ?(?)?(?) 过滤式 4. 特征选择 32 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 原理：包裹

3 简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 4.6 暂退法（Dropout） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 4.6.1 扰动的稳健性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6.3 实践中的暂退法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 4.6.4 从零开始实现 . . . . 分布偏移纠正 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 4.9.4 学习问题的分类法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 4.9.5 机器学习中的公平、责任和透明度

2 本章目录 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 3 1.决策树原理 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 4 长相 能 帅 不帅 家庭背景 好 能 不好 人品 好 上进心 能 不能 有 无 不能 不好 1.决策树原理 ⚫ 决策树：从训练数据中学习得出一个树状 试待分类项中对应的特征属性，并按照其 值选择输出分支，直到叶子节点，将叶子 节点的存放的类别作为决策结果。 根节点 (root node) 叶节点 (leaf node) 5 1.决策树原理 根节点 (root node) 非叶子节点 (non-leaf node) (代表测试条件，对数据属性的测试) 分支 (branches) (代表测试结果) 叶节点 (leaf node) 决策树归纳的基本算法是贪心算法 ，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 ⚫ 在决策树的生成过程中，分割方法 即属性选择的度量是关键。 6 1.决策树原理 优点： ⚫ 推理过程容易理解，计算简单，可解释性强。 ⚫ 比较适合处理有缺失属性的样本。 ⚫ 可自动忽略目标变量没有贡献的属性变量，也为判断属性变量的重要性， 减少变量的数目提供参考。 缺点：

K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 13 聚类的背景知识--基本思想 图中的数据可以分成三个分开的点集(称为簇)，一个能够分出这些点集的算 法，就被称为聚类算法。 聚类算法示例 2.K-means聚类 14 2.K-means聚类 K-均值算法(K-means)算法概述 K-means算法是一种无监督学习方法，是最普及的聚类算法，算法使用 收敛 23 2.K-means聚类 初始化质心 簇赋值 迭代更新 收敛 K-means算法流程总结 24 2.K-means聚类 K值的选择 现在我们需要找到簇的数量。通常通过“肘部法 则”进行计算。我们可能会得到一条类似于人的 肘部的曲线。右图中，代价函数的值会迅速下降 ，在? = 3的时候达到一个肘点。在此之后，代 价函数的值会就下降得非常慢，所以，我们选择 ? = 3。这个方法叫“肘部法则”。 进行随机 初始化，最后再比较多次运行K-均值的结果，选择代价函数最小的结果。 代 价 函 数 值 肘点 聚 类 数 量 K 25 2.K-means聚类 K-means的优点 ⚫ 原理比较简单，实现也是很容易，收敛速度快。 ⚫ 聚类效果较优。 ⚫ 算法的可解释度比较强。 ⚫ 主要需要调参的参数仅仅是簇数K。 26 2.K-means聚类 K-means的缺点 • 需要预先指定簇的数量；

文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 发 明 专 利 ， 十 五 篇 国 际 学 术 论 文 ， 译 著 《 智 能 W e b 算 法 》 专 注 于 企 业 文 本 挖 掘 技 术 和 相 关 应 用 系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图 3284717798 ] RNN与LSTM RNN LSTM Ref: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM原理 Ref: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 1，单元状态丢弃 2，新信息选择 3，单元状态更新 4，确定输出