例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 混合器 23 元数据 24 协议 25 设备选项 26 输入设备 27 输出设备 28 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 混合器 23 元数据 24 协议 25 设备选项 26 输入设备 27 输出设备 28 itrate）或者编码（codec），流说明符就是精确的为 每个流指定相应的选项。 一个流说明符是一个以冒号分隔的字符串，其中分隔出的部分是附加选项，例如 -codec 1 ac3 表 示编码器是对第2音频流以ac3编码。 一个流说明符可能匹配多个流，则该选项是所有匹配项的选项，例如 -b:a 128k 表示所有的音频流都 是128k的码率。 5 选项 流说明（限定）符 5 选项

通常来说，Seq2Seq任务最常见的是使用Encoder+Decoder的模式，先将一个序 列编码成一个上下文矩阵，在使用Decoder来解码。当然，我们仅仅把context vector作为编码器到解码器的输入。 7 1.Transformer介绍 Attention注意力机制 在介绍什么是注意力机制之前， 先让大家看一张图片。当大家看 到下面图片，会首先看到什么内 容？当过载信息映入眼帘时，我 件部分也是由相同数量 （与编码器对应）的解 码器（decoder）组成 的。 17 2.Transformer的工作流程 所有的编码器在结构上都是相同 的，但它们没有共享参数。每个 解码器都可以分解成两个子层。 18 2.Transformer的工作流程 从编码器输入的句子首先会经过一个自注意力（self-attention）层，这层帮助编码器在对每 个单词编码时关注输入句子的其他单词。 个单词编码时关注输入句子的其他单词。 自注意力层的输出会传递到前馈（feed-forward）神经网络中。每个位置的单词对应的前馈 神经网络都完全一样（译注：另一种解读就是一层窗口为一个单词的一维卷积神经网络）。 解码器中也有编码器的自注意力（self-attention）层和前馈（feed-forward）层。除此之外， 这两个层之间还有一个注意力层，用来关注输入句子的相关部分（和seq2seq模型的注意力 作用相似）。

11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 12.1 自编码器原理 12.2 MNIST 图片重建实战 12.3 自编码器变种 12.4 变分自编码器 12.5 VAE 实战 12.6 参考文献 第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 监督信号，即模型需要学习的映射为??: ? → ?，称为自监督学习(Self-supervised Learning)。在训练时，通过计算模型的预测值??(?)与自身?之间的误差来优化网络参数?。 常见的无监督学习算法有自编码器、生成对抗网络等。 强化学习 也称为增强学习，通过与环境进行交互来学习解决问题的策略的一类算法。 与有监督学习、无监督学习不同，强化学习问题并没有明确的“正确的”动作监督信号， 预览版202112 effectiveness of the forget gate,” CoRR, 卷 abs/1804.04849, 2018. 预览版202112 第12章 自编码器 假设机器学习是一个蛋糕，强化学习是蛋糕上的樱 桃，监督学习是外面的糖衣，无监督学习则是蛋糕本 体。—Yann LeCun 前面我们介绍了在给出样本及其的标签的情况下，神经网络如何学习的算法，这类算

. . . . . . . . . . . . . . . . . . . 362 9.6 编码器‐解码器架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.6.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . 6.3 合并编码器和解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.7 序列到序列学习（seq2seq） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366 9.7.1 编码器 . . . 10.7.3 残差连接和层规范化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416 10.7.4 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417 10.7.5 解码器

智能文档审阅系统：抽取核心算法 智能文档审阅系统：段落分析 PDF格式文本数据丢失段落信息 使用深度学习进行段落分析 生成式摘要 生成式摘要的深度学习网络基本结构 l 编码器/解码器结构，都是神经网络结构 l 输入的原文经过编码器编码变成向量 l 解码器从向量里面提取关键信息，组合成生成式摘要 深度学习内部注意力机制的引入 l 内部注意力机制在解码器里面做 l 关注已生成词，解决长序列摘要生成时，个别字词重复出现的问题 关注已生成词，解决长序列摘要生成时，个别字词重复出现的问题 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN 解码器内部注意力机制 输入序列 输入序列 输入序列。。。 编码器 解码器 摘要序列。。。 摘要序列 Rouge指标优化 Reward 文本摘要候选集 生成 更新模型 反馈 增强学习优化 深度学习模型 评分 强化学习和深度学习相结合的学习方式 l 最优化词的联合概率分布：MLE 给与反馈来更新模型。最终训练得到表现最好的模型。 生成式摘要 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN Rouge指标优化 Reward 文本摘要候选集 生成 解码器内部注意力机制 编码器 解码器 深度学习摘要生成式模型 输入序列 输入序列 输入序列。。。 摘要序列。。。 摘要序列 更新模型 评分 返回 增强学习优化模块 最优摘要结果 生成式摘要 知识图谱关系抽取：联合学习方法

PQ，默认值为 1.2。 亮度 显示器的最大亮度。对于转换到 PQ，默认值为 10.000 cd/m²。 导出选项 无损 使用无损编码选项。这将同时禁用有损高级设置。 有损高级设置 画质 指定编码器在多大程度上牺牲压缩比来保持画质。数值越高，画质越 好；数值越低，文件越小。 色品精度 色品采样精度设置。人眼对于图像中的亮度反差比颜色反差更为敏感，因 此将图像的颜色采样精度减半可以在画质劣化不明显的情况下有效地提高 出选项中勾选 保存为 JPEG-XL 动图。导出动图和导出动画不是一回事，无需 像后者那样使用 FFmpeg。 导出选项 常规 JPEG XL 的编码器和 JPEG 有很大不同。JPEG 编码器是按照用户指定的画质 输出图像的，而 JPEG XL 则是由编码器自动决定最适合图像的画质，用户只 能选择使用的是有损还是无损压缩方式，并指定在检测最佳压缩比时的检测力 度。检测力度越大，保存耗时越久。 保存为 值越 低，文件越小。 使用模块化模式 为有损压缩使用替代的模块化模式。JPEG XL 默认使用 VarDCT 模式 来对图像进行有损编码。 在 5.2 版本加入. 权衡 此滑动条用于权衡编码器的检测力度和编码速度，它带有一些预设 [1]： 1. 闪电 – 适合无损压缩使用的快速模式。对于有损压缩，将使用最 快的检测方式；对于无损压缩，将使用渐变色预测器和快速直方 图，但不使用 MA 树。

PQ，默认值为 1.2。 亮度 显示器的最大亮度。对于转换到 PQ，默认值为 10.000 cd/m²。 导出选项 无损 使用无损编码选项。这将同时禁用有损高级设置。 有损高级设置 画质 指定编码器在多大程度上牺牲压缩比来保持画质。数值越高，画质越 好；数值越低，文件越小。 色品精度 色品采样精度设置。人眼对于图像中的亮度反差比颜色反差更为敏感，因 此将图像的颜色采样精度减半可以在画质劣化不明显的情况下有效地提高 出选项中勾选 保存为 JPEG-XL 动图。导出动图和导出动画不是一回事，无需 像后者那样使用 FFmpeg。 导出选项 常规 JPEG XL 的编码器和 JPEG 有很大不同。JPEG 编码器是按照用户指定的画质 输出图像的，而 JPEG XL 则是由编码器自动决定最适合图像的画质，用户只 能选择使用的是有损还是无损压缩方式，并指定在检测最佳压缩比时的检测力 度。检测力度越大，保存耗时越久。 保存为 值越 低，文件越小。 使用模块化模式 为有损压缩使用替代的模块化模式。JPEG XL 默认使用 VarDCT 模式来 对图像进行有损编码。 在 5.2 版本加入. 权衡 此滑动条用于权衡编码器的检测力度和编码速度，它带有一些预设 [[1]]： 1. 闪电 – 适合无损压缩使用的快速模式。对于有损压缩，将使用最快 的检测方式；对于无损压缩，将使用渐变色预测器和快速直方图， 但不使用 MA

PQ，默认值为 1.2。 亮度 显示器的最大亮度。对于转换到 PQ，默认值为 10.000 cd/m²。 导出选项 无损 使用无损编码选项。这将同时禁用有损高级设置。 有损高级设置 画质 指定编码器在多大程度上牺牲压缩比来保持画质。数值越 高，画质越好；数值越低，文件越小。 色品精度 色品采样精度设置。人眼对于图像中的亮度反差比颜色反差更 为敏感，因此将图像的颜色采样精度减半可以在画质劣化不明 文件，在导出选项中勾选 保存为 JPEG-XL 动图。导出动 图和导出动画不是一回事，无需像后者那样使用 FFmpeg。 导出选项 常规 JPEG XL 的编码器和 JPEG 有很大不同。JPEG 编码器是按照用户 指定的画质输出图像的，而 JPEG XL 则是由编码器自动决定最适合 图像的画质，用户只能选择使用的是有损还是无损压缩方式，并指 定在检测最佳压缩比时的检测力度。检测力度越大，保存耗时越 久。 保存为 好；数值越低，文件越小。 使用模块化模式 为有损压缩使用替代的模块化模式。JPEG XL 默认使用 VarDCT 模式来对图像进行有损编码。 在 5.2 版本加入. 权衡 此滑动条用于权衡编码器的检测力度和编码速度，它带有一 些预设 [[1]]： 1. 闪电 – 适合无损压缩使用的快速模式。对于有损压缩， 将使用最快的检测方式；对于无损压缩，将使用渐变色 预测器和快速直方图，但不使用 MA

PQ，默认值为 1.2。 亮度 显示器的最大亮度。对于转换到 PQ，默认值为 10.000 cd/m²。 导出选项 无损 使用无损编码选项。这将同时禁用有损高级设置。 有损高级设置 画质 指定编码器在多大程度上牺牲压缩比来保持画质。数值越高，画质越 好；数值越低，文件越小。 色品精度 色品采样精度设置。人眼对于图像中的亮度反差比颜色反差更为敏感，因 此将图像的颜色采样精度减半可以在画质劣化不明显的情况下有效地提高 出选项中勾选 保存为 JPEG-XL 动图。导出动图和导出动画不是一回事，无需 像后者那样使用 FFmpeg。 导出选项 常规 JPEG XL 的编码器和 JPEG 有很大不同。JPEG 编码器是按照用户指定的画质 输出图像的，而 JPEG XL 则是由编码器自动决定最适合图像的画质，用户只 能选择使用的是有损还是无损压缩方式，并指定在检测最佳压缩比时的检测力 度。检测力度越大，保存耗时越久。 保存为 无损编码 是否使用无损压缩方式保存图像。和 *.webp 一样，JPEG XL 既支持有 损压缩方式，也支持无损压缩方式。其中有损压缩与 *.jpg 使用编码方 式接近。 权衡 此滑动条用于权衡编码器的检测力度和编码速度，它带有一些预设 [[1]]： 1. 闪电 – 适合无损压缩使用的快速模式。对于有损压缩，将使用最快 的检测方式；对于无损压缩，将使用渐变色预测器和快速直方图， 但不使用 MA