BP 算法来进行表征学习的论文， BP 算法才获得了广泛的关注。 1982 年，随着 John Hopfild 的循环连接的 Hopfield 网络的提出，开启了 1982 年~1995 年的第二次人工智能复兴的大潮，这段期间相继提出了卷积神经网络、循环神经网络、反 向传播算法等算法模型。1986 年，David Rumelhart 和 Geoffrey Hinton 等人将 BP 算法应用 提出；同年双向循环 神经网络也被提出。 遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM)为 代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。支持向量机 拥有严格的理论基础，训练需要的样本数量较少，同时也具有良好的泛化能力，相比之 下，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也相对一般。图 1.8 绘制了 1943 Dropout 技术来防止过拟合，同时抛弃了逐层预训练的方式，直接在两块 NVIDIA GTX580 GPU 上训练网络。AlexNet 在 ILSVRC-2012 图片识别比赛中获得了第一名的成绩，比第二 名在 Top-5 错误率上降低了惊人的 10.9%。 自 AlexNet 模型提出后，各种各样的算法模型相继被发表，其中有 VGG 系列、 GoogLeNet 系列、ResNet 系列、DenseNet

使用。甚至，费舍尔在1936年发布的鸢尾花卉数据集，有时仍然被用来解读机器学习算法。他也是优生学的 倡导者，这提醒我们：数据科学在道德上存疑的使用，与其在工业和自然科学中的生产性使用一样，有着悠 远而持久的历史。 机器学习的第二个影响来自克劳德·香农(1916–2001)20的信息论和艾伦·图灵（1912‐1954）21的计算理论。图 灵在他著名的论文《计算机器与智能》(Turing, 1950) 中提出了“机器能思考吗？”的问题。在他所描述的图 只需 要提供张量列表，并给出沿哪个轴连结。下面的例子分别演示了当我们沿行（轴‐0，形状的第一个元素）和按 列（轴‐1，形状的第二个元素）连结两个矩阵时，会发生什么情况。我们可以看到，第一个输出张量的轴‐0长 度（6）是两个输入张量轴‐0长度的总和（3 + 3）；第二个输出张量的轴‐1长度（8）是两个输入张量轴‐1长度 的总和（4 + 4）。 X = torch.arange(12, dtype=torch 与任何Python数组一样：第一个元素 的索引是0，最后一个元素索引是‐1；可以指定范围以包含第一个元素和最后一个之前的元素。 如下所示，我们可以用[-1]选择最后一个元素，可以用[1:3]选择第二个和第三个元素： X[-1], X[1:3] (tensor([ 8., 9., 10., 11.]), tensor([[ 4., 5., 6., 7.], [ 8., 9., 10., 11

线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一 解）。 在矩阵表示法中，我们可以更紧凑地表达： 我们可以看到，这种形式的线性方程有许多优点（比如明显地节省空间）。 1.1 基本符号 如果 ，它是反对称的。 很容易证明，对于任 何矩阵 ，矩阵 是对称的，矩阵 是反对称的。 由此得出，任何方矩阵 可以表示为对称矩阵和反对称矩阵的和，所以： 上面公式的右边的第一个矩阵是对称矩阵，而第二个矩阵是反对称矩阵。 事实证明，对称矩阵在实践中 用到很多，它们有很多很好的属性，我们很快就会看到它们。 通常将大小为 的所有对称矩阵的集合表 示为 ，因此 意味着 是对称的 矩阵; 3.4 矩阵的迹 有效的方法来计算 逆矩阵。 3.11 二次型和半正定矩阵 给定方矩阵 和向量 ，标量值 被称为二次型。 写得清楚些，我们可以看到： 注意： 第一个等号的是因为是标量的转置与自身相等，而第二个等号是因为是我们平均两个本身相等的量。 由 此，我们可以得出结论，只有 的对称部分有助于形成二次型。 出于这个原因，我们经常隐含地假设以 二次型出现的矩阵是对称阵。 我们给出以下定义： 对于所有非零向量

Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 torch 框架，第二个是 Chainer，实 现了 Eager 模式与自动微分，Pytoch 集成了这两个框架的优 点， 把 Python 语言作为框架的首选编程语言，所以它的名字 是在 torch 的前面加上 Py 命令行模式） 如果显示图 1-2 所示的信息表示已经安装成功 Python 语言包 支持；如果输入 Python 之后显示信息为“'python' 不是内部 或外部命令，也不是可运行的程序”则说明第二步中没有勾选 上“add Python3.6 to PATH”，此时请手动把 python.exe 所 在路径添加到 Windows 系统的环境变量中去之后再次执行 即可。 4. 安装好 Python 两行代码，执 行结果如下： >>> import torch >>> torch._ _version_ _ '1.9.0+cu102' 其中第一行表示导入 pytorch 的包支持，第二行表示版本查询， 第三行是执行结果（GPU 版本）。 现在很多开发者喜欢使用 Ubuntu 开发系统，在 Ubuntu 系统 下如下正确安装与配置 Pytorch，第一步同样是安装 python

，并且对于机器学习算法来说，分析数据会更快、更容易，而不需要处 理额外的特征。 32 3.PCA(主成分分析) 原始指标的线性 组合 综合指标间不 相关，且方差 递减 第一主成分，第二主成分，… 第p主成分 选取前几个最大的主成分代替原来指标的 信息 尽可能多地找出相关 指标作为原始指标 主成分分析流程图： 33 3.PCA(主成分分析) • 1F 2F • 在图1中，它是实线。 它还找到与第一个轴正交的 第二个轴，它考虑了剩余方差的最大量。在这个 2D示例中，它是虚线。如果它是一个更高维的数 据集，PCA还会找到与前两个轴正交的第三个轴 ，以及第四个，第五个等等 - 与数据集中的维数 一样多的轴。 定义第 ? 轴的单位向量称为第 ? 个主成分 (PC) 。 • 在图1中，第一个 PC为 ?1，第二个 PC 为 ?2 。 • 在图2中，前两个 维数据，将原始数据按列组成?行?列矩阵? 第一步是均值归一化。我们需要计算出所有特征的均值，然后令 ?? = ?? − ??。（??为均值）。如 果特征是在不同的数量级上，我们还需要将其除以标准差 ?2。 第二步是计算协方差矩阵（covariance matrix）?： σ = 1 ? σ?=1 ? ?(?) ?(?) T 第三步是计算协方差矩阵?的特征向量（eigenvectors）,可以利用奇异值分解(SVD)来求解。

基于深度学习的Two Stages目标检测框架 （准确度有优势） 此类算法将检测问题分为两个阶段， 第一阶段生成大量可能含有目标的候选区域（Region Proposal），并附 加大概的位置信息； 第二个阶段对其进行分类，选出包含目标的候选区域并对其位置进行 修正（常使用R-CNN、Fast R-CNN、Faster R-CNN等算法）。 13 1.目标检测概述 3.基于深度学习的One Stage目标检测框架 始化，并端到端微调，用于生成region proposal； • 第二步，训练Faster RCNN，由imageNet model初始化，利用第一步的RPN生成的region proposals作为输入数据，训练Fast R-CNN一个单独的检测网络，这时候两个网络还没有共享卷 积层； • 第三步，调优RPN，用第二步的Faster RCNN model初始化RPN再次进行训练，但固定共享的卷

orange farmer.” “Robert Lin is an apple farmer.” 10 2.词嵌入 如何用词嵌入做迁移学习的步骤。 第一步，先从大量的文本集中学习词嵌入。 第二步，你可以用这些词嵌入模型把它迁移到你的新的只有少量标注训练集的任 务中，比如说用这个300维的词嵌入来表示你的单词。这样做的一个好处就是你 可以用更低维度的特征向量代替原来的10000维的one-hot向量，现在你可以用 000）以及 哪些词属于它。在训练阶段的开始，我们创建两个矩阵 - Embedding矩阵和Context 矩阵。这两个矩阵在我们的词汇表中嵌入了每个单词（这vocab_size是他们的维度 之一）。第二个维度是我们希望每次嵌入的时间长度（embedding_size- 300是一个 常见值）。 21 3.Word2Vec 训练流程 在训练过程开始时，我们用随机值初始化这些矩阵。然后我们 开 rd model）去训练学习模型（即： 用AI训练AI的思路） ✓ InstructGPT的训练步骤为：对GPT-3监督微调——训练奖励模型（reward model）——增强学习优化SFT (第二、第三步可以迭代循 环多次) 图：InstructGPT训练三步骤各自对应的数据集规模如下图所示（labeler指的是OpenAI的标注人员，customer指GPT-3 API的用户） GPT的发展

? + (1−?) (1−?)) ⋅ ?(1 − ?) = ? − ? 13 4.反向传播算法 第一步，计算?1 ሾ1], ?1 ሾ1] = ?1 ሾ1]?? + ?1 ሾ1]。 第二步，通过激活函数计算?1 ሾ1], ?1 ሾ1] = ?(?1 ሾ1])。 ?2 ሾ1]、?3 ሾ1]、?4 ሾ1]的计算方式跟?1 ሾ1]相似 ?1 ሾ1] = ?1 ሾ1] 六层，因此 我们称这个是六层的神经网络。 22 前向传播 第 一 层 需 要 计 算 ?ሾ1] = ?ሾ1]? + ?ሾ1] ， ?ሾ1] = ?ሾ1](?ሾ1])（?可以看做?ሾ0]） 第二层 ?ሾ2] = ?ሾ2]?ሾ1] + ?ሾ2]，?ሾ2] = ?ሾ2](?ሾ2]) 以此类推， 第四层为 ?ሾ4] = ?ሾ4]?ሾ3] + ?ሾ4]，?ሾ4] = ?ሾ4](?ሾ4])

的第一层，卷积窗口的形状是 11×11 。由于大 多数 ImageNet 中图像的宽和高比 MNIST 图像的多10倍以 上，因此，需要一个更大的卷积窗口来捕获目标。 第二层 中的卷积窗形状被缩减为 5×5 ，然后是 3×3 。 此外，在 第一层、第二层和第五层之后，加入窗口形状为 3×3 、步 幅为 2 的最大池化层。 此外，AlexNet 的卷积通道是 LeNet 的10倍。 • 在最后一个卷

 t t H 3 1 ,  t t H 4 1 ,  t t H 第二道匹配 • 根据估计的平面运动进行匹配 Epipolar constraint Homography constraint 匹配结果比较 第一道匹配 (53个匹配对) 直接极线上搜索 (增加了11个匹配对) 第二道匹配 (增加了346个匹配对) 非连续帧上的特征点轨迹匹配 • 快速匹配矩阵估计