备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2.矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式退化，例如 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号 我们使用以下符号： ，表示 为由实数组成具有 行和 列的矩阵。 ，表示具有 个元素的向量。 通常，向量 将表示列向量: 即，具有 行和 列的矩阵。 如果 我们想要明确地表示行向量: 具有 行和 列的矩阵 - 我们通常写 （这里 的转置）。 表示向量 的第 个元素 我们使用符号 （或 , 等）来表示第 行和第 列中的

2.0.0 Aston Zhang, Zachary C. Lipton, Mu Li, and Alexander J. Smola Aug 18, 2023 目录 前言 1 安装 9 符号 13 1 引言 17 2 预备知识 39 2.1 数据操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 12.1.1 符号式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 运行时环境。要退出环境，请运行conda deactivate。 Discussions10 10 https://discuss.d2l.ai/t/2083 目录 11 12 目录 符号 本书中使用的符号概述如下。 数字 • x：标量 • x：向量 • X：矩阵 • X：张量 • I：单位矩阵 • xi, [x]i：向量x第i个元素 • xij, [X]ij：矩阵X第i行第j列的元素

False)。如果为 True，则批次中索引 i 处的每个样品的最后状态将用 作下一批次中索引 i 样品的初始状态。 • unroll: 布尔值 (默认 False)。如果为 True，则网络将展开，否则将使用符号循环。展开可以 加速 RNN，但它往往会占用更多的内存。展开只适用于短序列。 • input_dim: 输入的维度（整数）。将此层用作模型中的第一层时，此参数（或者，关键字参 数 input_shape）是必需的。 shuffle=False。 要重置模型的状态，请在特定图层或整个模型上调用 .reset_states()。 关于指定 RNN 初始状态的注意事项 您可以通过使用关键字参数 initial_state 调用它们来符号化地指定 RNN 层的初始状态。 initial_state 的值应该是表示 RNN 层初始状态的张量或张量列表。 您可以通过调用带有关键字参数 states 的 reset_states 方法来数字化地指定 False)。如果为 True，则批次中索引 i 处的每个样品的最后状态将用 作下一批次中索引 i 样品的初始状态。 • unroll: 布尔值 (默认 False)。如果为 True，则网络将展开，否则将使用符号循环。展开可以 加速 RNN，但它往往会占用更多的内存。展开只适用于短序列。 5.6.3 GRU [source] keras.layers.GRU(units, activation='tanh'

础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加 PyTorch 继承获得的优良基因。但是由于 Lua 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了 命令式编程和符号式编程混合方式，灵活性高，运行速度快，文档和案例也较为丰 富。 ❑ Keras 是一个基于 Theano 和 TensorFlow 等框架提供的底层运算而实现的高层框架， 提供了大量快速训练、 ❑ TensorFlow 是 Google 于 2015 年发布的深度学习框架，最初版本只支持符号式编程。 得益于发布时间较早，以及 Google 在深度学习领域的影响力，TensorFlow 很快成为最 流行的深度学习框架。但是由于 TensorFlow 接口设计频繁变动，功能设计重复冗余， 符号式编程开发和调试非常困难等问题，TensorFlow 1.x 版本一度被业界诟病。2019 年，Google

atch的微分??，??，所以我会 保留这个指数加权平均数，我们用到新符号??? ，而不是??? ，因此??? = ???? + (1 − ?)??2，澄清一下，这个平方的操作是针对这一整个符号的，这样做 能够保留微分平方的加权平均数，同样??? = ???? + (1 − ?)??2，再说一次，平 方是针对整个符号的操作。 接着RMSprop会这样更新参数值，?: = ? − ? ?

?)），或者使左边这个式子 （?(?, ?)）变小，这样左右两边至少有一个?的间隔。 15 1.人脸识别概述 用Triplet 损失训练 16 1.人脸识别概述 人脸识别与二分类 符号?(?(?))?代表图片?(?)的编码，下标?代表选择这个向量中的第?个元素， |?(?(?))? − ?(?(?))?|对这两个编码取元素差的绝对值 ?2公式，公式可以是?2 = (?(?( (?(?))?| + ?) 17 1.人脸识别概述 用Triplet 损失训练 ̰? = ?(෍ ?=1 128 ??|?(?(?))? − ?(?(?))?| + ?) 我解释一下，符号?(?(?))?代表图片?(?)的编 码，下标?代表选 18 1.人脸识别概述 FaceNet Inception-ResNet-v2网络简化示意图 https://github.com/

取有限种可能值(即， 是离散随机变量)时，表示与随机变量相关联的概率度量的更简单 的方法是直接指定随机变量可以假设的每个值的概率。特别地，概率质量函数(PMF)是函数 ，这样： 在离散随机变量的情况下，我们使用符号 表示随机变量 可能假设的一组可能值。例如，如果 是一个随机变量，表示十次投掷硬币中的正面数，那么 ， ， ， ， 。 性质： 2.3 概率密度函数 对于一些连续随机变量，累积分布函数 假设我们有n个随机变量。当把所有这些随机变量放在一起工作时，我们经常会发现把它们放在一个向 量中是很方便的...我们称结果向量为随机向量(更正式地说，随机向量是从 到 的映射)。应该清楚的 是，随机向量只是处理 个随机变量的一种替代符号，因此联合概率密度函数和综合密度函数的概念也 将适用于随机向量。 期望: 考虑 中的任意函数。这个函数的期望值 被定义为 其中， 是从 到 的 个连续积分。如果 是从 到 的函数，那么 的期望值是输出向量的元

、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识 别等。 可以说，自然语言处理就是要计算机理解自然语言，自然 语言处理机制涉及 两个流程，包括自然语言理解和自然语言生成 ，自然语言理解是让计算机把 输入的语言变成有意思的符号和关 系，然后根据目的再处理；自然语言生成 则是把计算机数据转 化为自然语言。实现人机间的信息交流，是人工智能 界、计算 机科学和语言学界所共同关注的重要问题。 自然语言处理技术的技术层次 自然语言处理技术的发展历程 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 里面的元素的值不能修改，只能读取。元组的符号是( ) ⚫集合(set) 集合主要有两个功能，一个功能是进行集合操作，另一个功能是消除重复元素。 集合的格式 是：set( )，其中()内可以是列表、字典或字符串，因为字符串是以列表的形式存储的

序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 4 1.序列模型概述 循环神经网络（RNN）之类的模型在语音识别、自然语言处理和 其他领域中引起变革。 5 数学符号 在这里?<1>表示Harry这个单词，它就是一个第 4075行是1，其余值都是0的向量（上图编号1所示 ），因为那是Harry在这个词典里的位置。 ?<2>是第6830行是1，其余位置都是0的向量（上

梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)； ?：表示输出结果，取值为(0,1)； (?(?), ?(?))：表示第?组数据； ? = [?(1), ?(2),