机器学习课程-温州大学-02机器学习-回归

以下是对文档内容的总结： --- ## 《机器学习课程-温州大学-02机器学习-回归》摘要 ### 1. 回归的基本概念 - **回归（Regression）**：用于预测连续值，例如房价预测或股票走向预测。 - **分类（Classification）**：用于预测离散值，例如判断肿瘤性质（良性或恶性）。 ### 2. 线性回归 - **定义**：通过属性的线性组合进行预测，目标是找到一条直线或超平面，使预测值与真实值的误差最小化。 - **符号约定**： - $m$：训练样本数量。 - $n$：特征数量。 - $x$：输入变量（特征）。 - $y$：目标变量（输出）。 - $(x^{(i)}, y^{(i)})$：第$i$个样本。 - $h$：学习算法的假设函数，$h(x) = w_0 + w_1x_1 + w_2x_2 + \dots + w_nx_n$。 - $\hat{y} = h(x)$：预测值。 - **损失函数**：平方损失函数（Least Square Loss），即单样本预测错误的平方。 - **代价函数**：残差平方和（RSS）的平均值，即均方误差（MSE）。 - **目标函数**：由代价函数和正则化项组成，便于优化。 ### 3. 梯度下降 - 梯度下降是一种优化算法，用于最小化损失函数。 - 学习率（$\alpha$）控制更新步长，影响收敛速度。 ### 4. 正则化 - 目的：防止模型过拟合。 - 常用方法：L1正则化和L2正则化。L2正则化通过添加模型权重的平方项到目标函数中实现。 ### 5. 回归的评价指标 - **均方误差（MSE）**：预测值与真实值误差的平方的平均值。 - **均方根误差（RMSE）**：MSE的平方根，单位与真实值一致。 - **平均绝对误差（MAE）**：预测值与真实值误差的绝对值的平均值。 --- 总结完毕。