1 2022年02月 机器学习-第四章 朴素贝叶斯 黄海广 副教授 2 本章目录 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 3 1.贝叶斯方法 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 4 1.贝叶斯方法-背景知识 先验概率： 后验概率： ?(?) 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率 分布 ?(?, ?)，然后求得后验概率分布?(?|?)。 具体来说，利用训练数据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(?, ?)＝?(?|?) ?(?) 7 2.朴素贝叶斯原理 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 线性回归、逻辑回归、感知机、决策树、支持向 量机…… 朴素贝叶斯、HMM、深度信念网络(DBN)…… 监督学习方法又分 生成方法（Generative approach）和判别方法（Discriminative approach） 所学到的模型分别称为 生成模型（Generative Model）和判别模型（Discriminative Model)。 2.朴素贝叶斯原理 9 2.朴素贝叶斯原理 1．朴素贝叶斯法是典型的生成学习方法。

上下⽂⻓度的推理， 超⻓⽂本对显存的要求可⻅⼀斑； • 三是⽬前的显存带宽⽆法满⾜需求：英伟达
A800
或
H800
的显存带宽⾼达
2-3
TiB/s，但⾯对如此 ⻓的上下⽂，若只通过⼀些朴素的基本处理⽅法，⽣成速度只能达到
2~5
token/s，使⽤的体验极 其卡顿。 当然，上述问题的解决存在⼀些「捷径」，但这些捷径往往都是以牺牲模型性能为代价的，导致模型 的应⽤价值⼤打折扣，
典型的做法包括：
味着如果只是⽤朴素的⽅式实现，⽤⼾ 需要等待极其⻓的时间才能获得反馈。 超⻓上下⽂导致显存需求进⼀步增⻓：以
1750
亿参数的
GPT-3为例，⽬前最⾼单机配置(
80
GiB
*
8
) 最多只能⽀持
64k
上下⽂⻓度的推理，超⻓⽂本对显存的要求可⻅⼀斑。
极⼤的显存带宽压⼒：英伟达A800
或
H800的显存带宽⾼达
2-3
TiB/s，但⾯对如此⻓的上下⽂，朴素 ⽅法的⽣成速

Multiplication: C = αAB + βC • MNK 级别的时间复杂度 • 深度学习卷积运算量很大(例如尺寸256 x 1152 x 192 ≈ 5700万) • GEMM 通过优化内存局部性和向量指令，比朴素实现快 10 倍以上 GEMM • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON V0 V1 ✕ ✕ ✕ ✕ V2 GEMM 例子 • 优化 GEMM

Regression） • 逻辑回归（Logistic Regression） • 决策树（Decision Tree） • 随机森林（Random Forest） • 最近邻算法（k-NN） • 朴素贝叶斯（Naive Bayes） • 支持向量机（SVM） • 感知器（Perceptron） • 深度神经网络（DNN） 前置知识：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变

predict_proba(X_test) 使用决策树分类算法解决二分类问题， y_prob 为每个样本预测为 “0”和“1”类的概率 16 1.Scikit-learn概述 逻辑回归 支持向量机 朴素贝叶斯 K近邻 linear_model.LogisticRegression svm.SVC naive_bayes.GaussianNB neighbors.NearestNeighbors

大规模实时监控平台V3.0 产品规划 大规模实时监控平台V3.0 故障预测、容量预测、性能预测 预测分类： 预测算法： 重点关注： LSTM、多元线性回归、决策树、随机森 林、神经网络、朴素贝叶斯分类、最小二乘 法、支持向量机 … 算法匹配度评分 日历适配、基于节假日的机器学习算法 Kpi自动分类并匹配预测算法 基于业务关联关系的预测算法 预测 大规模实时监控平台V3.0

文本挖掘各种类型应用的处理框架 文本数据 结果 预处理 输出层 表示层 隐层 不同深度学习模型 后处理 NER 分词 情感分析 文本分类 机器翻译 … 文本分类 传统机器学习 • 选择分类器（朴素贝叶斯，SVM，KNN，LR，决 策树） • 特征工程构造特征 • 不同领域定制优化成本高 • 常需要分类算法融合提升效果 深度学习（CNN，RNN等） • 端到端，无需大量特征工程 •

排序在Greenplum中的应用 43 ● Greenplum的聚集节点使用两种聚集方式：哈希聚集和分组聚集。 ● 分组聚集应用了排序的思想，如果数据基于分组键有序，那么聚集可以拆解为 若干个朴素聚集的组合。 ● SELECT avg(score) FROM student GROUP BY grade; 分组聚集 44 ● Greenplum连接算法包括：嵌套循环连接，哈希连接和归并连接。

是需要做数据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取 值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及 朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。 3.正则化、偏差和方差 19 过拟合和欠拟合 欠拟合 过拟合 正合适 20 过拟合的处理 1.获得更多的训练数据 使用更多的

据归一化/标准化处理的。 不需要做数据归一化/标准化 决策树、基于决策树的Boosting和Bagging等集成学习模型对于特征取 值大小并不敏感，如随机森林、XGBoost、LightGBM等树模型，以及 朴素贝叶斯，以上这些模型一般不需要做数据归一化/标准化处理。 22 3. 正则化 01 线性回归 02 梯度下降 03 正则化 04 回归的评价指标 23 过拟合和欠拟合