机器学习课程-温州大学-03机器学习-逻辑回归

以下是对文档《机器学习课程-温州大学-03机器学习-逻辑回归》的总结： --- ### 逻辑回归课程总结 本文档主要围绕逻辑回归的核心概念、公式和实现进行讲解，内容结构清晰，分为分类问题、Sigmoid函数、逻辑回归求解和代码实现四个部分。 --- ### 1. 分类问题 - **分类的定义**：监督学习的主要类型，用于预测离散标签。 - 示例：根据用户的年龄、职业、存款数判断信用卡是否违约。 - **输入变量**：可以是离散或连续的。 - **二分类模型**：假设类别概率分布为： - \( p(y=1|x; w) = h(x) \) - \( p(y=0|x; w) = 1 - h(x) \) --- ### 2. Sigmoid函数 - **定义**：逻辑函数（logistic function），公式为： \[ g(z) = \frac{1}{1 + e^{-z}} \] 其中 \( z = w^T x \)。 - **导数**：\( g'(z) = g(z)(1 - g(z)) \)。 - **预测阈值**：当 \( \sigma(z) \geq 0.5 \) 时，预测 \( y = 1 \)；否则预测 \( y = 0 \)。 --- ### 3. 逻辑回归求解 - **代价函数**：测量单个样本的损失，公式为： \[ L(\hat{y}, y) = -y \log(\hat{y}) - (1 - y) \log(1 - \hat{y}) \] - **代价函数扩展**：对所有训练样本求和并取平均，公式为： \[ J(w) = \frac{1}{m} \sum_{i=1}^m L(\hat{y}(i), y(i)) \] - **正则化**：为了防止过拟合，代价函数添加正则化项： \[ J(w) = \frac{1}{m} \sum_{i=1}^m \left[-y(i)\log h(x(i)) - (1-y(i))\log(1 - h(x(i)))\right] + \frac{\lambda}{2m} \sum_{j=1}^n w_j^2 \] --- ### 4. 逻辑回归代码实现 - **代码结构**：主要包括以下核心部分： - Sigmoid函数：\( \sigma(z) = \frac{1}{1 + e^{-z}} \) - 代价函数：根据损失函数和正则化项计算。 - **正则化作用**：通过引入正则化参数 \( \lambda \) 降低模型方差，防止过拟合。 --- ### 总结 本文档详细讲解了逻辑回归的核心概念，包括分类问题、Sigmoid函数、损失函数与代价函数的定义及优化，以及代码实现的关键步骤。逻辑回归是一种用于二分类的重要算法，通过对类别概率的建模和优化，能够有效解决实际中的分类问题。