机器学习课程-温州大学-02-数学基础回顾-1.CS229-LinearAlgebra

### 总结：斯坦福大学CS229机器学习课程 - 线性代数复习 本文是斯坦福大学CS229机器学习课程的线性代数复习材料，涵盖了线性代数的基础概念、矩阵运算、特性及其在机器学习中的应用。以下是核心内容的总结： --- ### 1. 基础概念和符号 - **矩阵**：用 $A$ 表示一个由实数组成的矩阵，尺寸为 $m \times n$。 - **向量**：用 $x$ 表示一个列向量，其元素为 $x_i$。 - **行向量**：用 $x^\top$ 表示行向量。 - **矩阵元素**：矩阵 $A$ 的第 $i$ 行、第 $j$ 列的元素记为 $A_{i,j}$ 或 $A[i,j]$。 - **矩阵列和行**：矩阵 $A$ 的第 $j$ 列记为 $A[:,j]$，第 $i$ 行记为 $A[i,:]$。 --- ### 2. 矩阵乘法 - **向量-向量乘法**： - **点积**：$x^\top y = \sum_{i} x_i y_i$。 - **外积**：$x y^\top$ 是一个矩阵。 - **矩阵-向量乘法**：$A x$ 的结果是向量，其第 $i$ 个元素是 $A$ 第 $i$ 行与 $x$ 的点积。 - **矩阵-矩阵乘法**： - 定义：$(AB)_{i,j} = \sum_{k} A_{i,k} B_{k,j}$。 - 注意：矩阵乘法是可结合但不可交换的。 --- ### 3. 运算和属性 - **单位矩阵**：$I$，满足 $A I = A$。 - **对角矩阵**：对角线元素非零，其他为零。 - **转置**：$(A^\top)_{i,j} = A_{j,i}$，满足 $(AB)^\top = B^\top A^\top$。 - **对称矩阵**：$A = A^\top$。 - **迹**：$tr(A)$ 是对角元素之和。 - **范数**： - 向量范数：如 $\|x\|_2 = \sqrt{\sum x_i^2}$。 - 矩阵范数：如 Frobenius 范数 $\|A\|_F = \sqrt{\sum A_{i,j}^2}$。 - **秩**：矩阵列向量的最大线性无关组的大小。 - **逆矩阵**：$A^{-1}$ 满足 $A A^{-1} = I$。 - **正交矩阵**：$Q$ 满足 $Q^\top Q = I$。 - **行列式**： - 定义：唯一满足的标量函数，满足： 1. $det(I) = 1$； 2. 行交换后行列式符号变化； 3. 行缩放后行列式缩放。 - 属性：$det(AB) = det(A)det(B)$，$det(A^{-1}) = 1/det(A)$。 - **特征值和特征向量**： - 对称矩阵的特征值为实数，且可正交分解。 --- ### 4. 矩阵微积分 - **梯度**： - 标量对矩阵的梯度：如 $\frac{\partial \text{tr}(AX)}{\partial X} = A^\top$。 - 黑塞矩阵：函数二阶导数的矩阵。 - **最小二乘法**： - 目标：最小化 $\|Ax - b\|_2^2$。 - 正规方程：$A^\top A x = A^\top b$。 - **行列式的梯度**： - $\frac{\partial \det(A)}{\partial A} = \text{adj}(A)$，其中 $\text{adj}(A)$ 为伴随矩阵。 --- ### 5. 总结 本文涵盖了线性代数的核心概念和操作，包括矩阵乘法、范数、特征值、行列式及微积分的基础知识。这些内容是机器学习和优化问题的重要基础，尤其是在理解最小二乘法、特征值分解等算法时。 如需更详细的更新，请关注github版本，翻译和修订将持续进行。