Lecture Notes on Gaussian Discriminant Analysis, Naive

### 总结 该文档涵盖了高斯判别分析（GDA）、朴素贝叶斯（NB）和期望最大化（EM）算法的核心内容，重点介绍了概率模型的基本理论、分类算法的推导以及参数估计方法。以下是总结： --- ### 1. Bayes定理与推断 - **Bayes定理**：通过公式 \( P(A|B) = \frac{P(B|A)P(A)}{P(B)} \) 表示了事件 A 在事件 B 发生的条件概率。 - **贝叶斯推断**：以图像分类为例，描述了如何通过计算后验概率 \( P(Y=y|X=x) \) 来判断图像是否包含特定对象（如猫）。这一过程依赖于先验概率 \( P(Y=y) \) 和条件概率 \( P(X=x|Y=y) \)。 --- ### 2. Gaussian Discriminant Analysis (GDA) - **模型假设**： - 类别标签 \( Y \) 服从伯努利分布 \( Y \sim \text{Bernoulli}(\psi) \)。 - 特征向量 \( X \) 在给定类别 \( Y \) 的条件下服从高斯分布 \( X|Y=0 \sim \mathcal{N}(\mu_0, \Sigma) \) 和 \( X|Y=1 \sim \mathcal{N}(\mu_1, \Sigma) \)。 - **参数估计**： - 通过最大化对数似然函数 \( \ell(\psi, \mu_0, \mu_1, \Sigma) \)，得到参数估计公式： - 类别先验概率：\( \psi = \frac{1}{m} \sum_{i=1}^m 1\{y(i)=1\} \)。 - 均值估计：\( \mu_0 \) 和 \( \mu_1 \) 分别为类别 0 和 1 的样本均值。 - 协方差矩阵估计：\( \Sigma = \frac{1}{m} \sum_{i=1}^m (x(i)-\mu_{y(i)})(x(i)-\mu_{y(i)})^T \)。 - **分类决策**：根据 \( P(Y=y|X=x) \) 的值进行分类，若 \( P(Y=1|X=x) \geq P(Y=0|X=x) \)，则判定为类别 1，否则为类别 0。 --- ### 3. GDA 与逻辑回归的关系 - **转换关系**：通过推导证明，GDA模型可以被转换为逻辑回归模型。具体来说，GDA的后验概率 \( P(Y=1|X=x) \) 可以表示为： \[ P(Y=1|X=x) = \frac{1}{1+\exp(-\theta^T x)} \] 其中 \( \theta \) 是由高斯分布参数 \( \mu_0, \mu_1, \Sigma \) 和类别先验 \( \psi \) 推导出的参数。 - **模型对比**： - GDA 假设数据服从高斯分布，参数估计更高效，但对假设的敏感性较高。 - 逻辑回归 假设较弱，鲁棒性更强，适用于大样本和非高斯分布数据。 --- ### 4. Naive Bayes (NB) - **模型假设**： - 特征向量 \( X \) 的每个分量 \( X_j \) 在给定类别 \( Y \) 下是条件独立的。 - 类别标签 \( Y \) 服从多项分布或伯努利分布。 - **参数估计**： - 通过最大化对数似然函数 \( \ell(\Omega) \)，其中参数包括类别先验概率 \( p(y) \) 和条件概率 \( p(x_j|y) \)。 - 使用拉格朗日乘数法求解参数： - 类别先验概率：\( p(y) = \frac{\sum_{i=1}^m 1\{y(i)=y\} + 1}{m + k} \)。 - 条件概率：\( p(x_j|y) = \frac{\sum_{i=1}^m 1\{y(i)=y \ ∧ \ x(i)_j=x\} + 1}{\sum_{i=1}^m 1\{y(i)=y\} + 2} \)。 - **多项分布**：适用于特征向量为多项分布（如文本数据）的场景，假设每个特征是独立重复抽样的。 --- ### 5. 期望最大化 (EM) 算法 - **问题公式**：通过最大化对数似然函数，结合拉格朗日乘数法，推导出参数更新公式： \[ p(y) = \frac{1}{m} \sum_{i=1}^m \delta(y|i) \] \[ p(x_j|y) = \frac{\sum_{i=1}^m \delta(y|i) \cdot 1\{x(i)_j=x\}}{\sum_{i=1}^m \delta(y|i)} \] 其中 \( \delta(y|i) \) 是后验概率，用于权重计算。 --- ### 总结 文档详细推导了三种经典概率模型（GDA、NB 和 EM）的理论基础和参数估计方法，并对 GDA 和逻辑回归进行了对比分析。各模型的核心思想和应用场景如下： - **GDA**：适用于数据分布接近高斯假设的场景，参数估计高效，但对假设敏感。 - **逻辑回归**：适用于大样本和非高斯数据，鲁棒性强。 - **Naive Bayes**：适用于特征独立的场景，尤其是高维数据（如文本分类）； - **EM 算法**：用于处理隐变量或缺失数据的参数估计问题。 每种模型的选择应基于数据特性和实际需求。