README 1 命令语法 2 描述/概览 3 详细说明 4 流的选择（指定） 5 选项 6 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 2 描述/概览 3 详细说明 4 流的选择（指定） 5 选项 技巧/提示（原版已废弃） 6 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 库（含分离器）读取输入文件，分离出各类编码的数据包（流），当有 多个输入文件时， ffmpeg 试图跟踪最低时间戳实现任意输入流同步。编码数据包（除非是指定为流 式拷贝，相关内容请参考特性描述对流式拷贝的说明）通过解码器解码出非压缩的数据帧（raw视 频/PCM格式音频…），这些数据帧可以被滤镜进一步处理（下面会讲到）。经过滤镜处理的数据被重 新编码为新的数据包（流），然后经过混合器混合（例如按一定顺序和比例把音频数据包和视频数据

训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 9.6 编码器‐解码器架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.6.1 编码器 . . . . . . . . . . . . . . . . . . 364 9.6.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365 9.6.3 合并编码器和解码器 . . . . . . . . . . . . . . . . . . . . . . . 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 9.7.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369 9.7.3 损失函数

生成式摘要的深度学习网络基本结构 l 编码器/解码器结构，都是神经网络结构 l 输入的原文经过编码器编码变成向量 l 解码器从向量里面提取关键信息，组合成生成式摘要 深度学习内部注意力机制的引入 l 内部注意力机制在解码器里面做 l 关注已生成词，解决长序列摘要生成时，个别字词重复出现的问题 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN 解码器内部注意力机制 输入序列 输入序列 输入序列 输入序列。。。 编码器 解码器 摘要序列。。。 摘要序列 Rouge指标优化 Reward 文本摘要候选集 生成 更新模型 反馈 增强学习优化 深度学习模型 评分 强化学习和深度学习相结合的学习方式 l 最优化词的联合概率分布：MLE（最大似然），有监督学习。在这里生成候选的摘要集。 l ROUGE指标评价：不可导，无法采用梯度下降的方式训练，考虑强化学习，鼓励reward高的模型，通过 给与反馈来更新模型。最终训练得到表现最好的模型。 生成式摘要 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN Rouge指标优化 Reward 文本摘要候选集 生成 解码器内部注意力机制 编码器 解码器 深度学习摘要生成式模型 输入序列 输入序列 输入序列。。。 摘要序列。。。 摘要序列 更新模型 评分 返回 增强学习优化模块 最优摘要结果 生成式摘要 知识图谱关系抽取：联合学习方法

)、PCM系列(DM)、 RM(DM)、RTP/RTSP(DM)、SRT(DM)、TG2/TGP(M)、 WAV(DM)、VMD(D)等等 FFmpeg Encoder/Decoder • 编解码器： • V:AMV(E)、AVS(D)、BMP/GIF/JPEG/TIFF/PNG(E)、H261/ H263/H264(DE)、MPEG1/2/4/4v1/4v2/4v3(DE)、PGM(E)、 数据：字节流数据包。 FFmpeg KS [编解码] AVCodec编解码器的实现功能类对象。 主要保存的是：函数接⼜实现、常量。 AVCodecContext编解码器的数据类对象。 主要保存的是：数据、动态接⼜等。 AVCodecParameters编解码器的数据类对象。 主要保存的是：数据、动态接⼜等。 FFmpeg KS [流/容器] . 其他等 FFmpeg KS [编解码接⼜] • FFmpeg编解码抽象AVCodec核⼼成员： init 初始化 open 打开编解码器 decode/encode 编解码操作 flush/update 编解码刷新 close 关闭编解码器 FFmpeg KS [容器接⼜] • FFmpeg封装层AVFotmat核⼼成员： 输⼊：read_header、read_probe、

是默认的播 放和管理音乐、播放列表的程序，有些像 Microsoft Windows 媒体播放器。您可以 用 Brasero 制作音频光盘。 要在 Ubuntu 上播放 mp3 文件，您需要安装一个解码器包。因为许可证限制的原 因，Ubuntu 不会默认安装它。某些版本的 Microsoft Windows 中默认支持播放 mp3 文件。 Windows 7 有两个多媒体程序：Windows 媒体播放器(简称 持。如果希望播放这些格式，需要安装附加的多媒体解码器。多媒体解码器是一种小 软件，它使您可以用特定的格式观看视频或欣赏音乐。虽然 Ubuntu 默认包含很了多 解码器，但您可能还是需要安装其他解码器，毕竟文件格式之多，对其全部支持是不 现实的。 在 Ubuntu 中播放多媒体文件是由 Gstreamer 多媒体框架处理的。GStreamer 本 身并不提供任何多媒体编解码器，而是依赖于打包成插件的编解码器，以执行记录和 播 播放功能的。安装这些解码器最方便的方法是安装“ubuntu-restricted-extras” 包。它也包含很多其它的受限软件，它们可能需要许可证。 也有些应用程序不使用 Gstreamer 框架，如 VLC、MPlayer、Xine 等。 可以使用新立得软件包管理器或者命令行界面来安装那些可以从软件仓库中获得的多 媒体解码器。 小提示： 可以直接在电影播放器中安装解码器。当电影播放器检测到它不能播放的格式时，会

Transformer的工作流程 04 BERT 4 1.Transformer介绍 为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 在没有transformer的时候，我们 通常来说，Seq2Seq任务最常见的是使用Encoder+Decoder的模式，先将一个序 列编码成一个上下文矩阵，在使用Decoder来解码。当然，我们仅仅把context vector作为编码器到解码器的输入。 7 1.Transformer介绍 Attention注意力机制 在介绍什么是注意力机制之前， 先让大家看一张图片。当大家看 到下面图片，会首先看到什么内 容？当过载信息映入眼帘时，我 件部分也是由相同数量 （与编码器对应）的解 码器（decoder）组成 的。 17 2.Transformer的工作流程 所有的编码器在结构上都是相同 的，但它们没有共享参数。每个 解码器都可以分解成两个子层。 18 2.Transformer的工作流程 从编码器输入的句子首先会经过一个自注意力（self-attention）层，这层帮助编码器在对每 个单词编码时关注输入句子的其他单词。

网络(编码器)；ℎ?2看成数据解码(Decode)的过程，把 编码过后的输入?解码为高维度的?，称为 Decoder 网络(解码器)。 预览版202112 第 12 章 自编码器 2 ? ? ? ??1 ℎ?2 ?? 图 12.1 自编码器模型 编码器和解码器共同完成了输入数据?的编码和解码过程，我们把整个网络模型??叫做自动 编码器(Auto-Encoder)，简 Auto-encoder)，如图 12.2 所示。 输入? 输出? 隐藏向量 图 12.2 利用神经网络参数化的自编码器 自编码器能够将输入变换到隐藏向量?，并通过解码器重建(Reconstruct，或恢复)出? 。 我们希望解码器的输出能够完美地或者近似恢复出原来的输入，即? ≈ ?，那么，自编码器 的优化目标可以写成： min ℒ = dist(?, ? ) ? = ℎ?2(??1( 12.2.2 编码器 我们利用编码器将输入图片? ∈ ?784降维到较低维度的隐藏向量： ∈ ?20，并基于隐 藏向量 利用解码器重建图片，自编码器模型如图 12.5 所示，编码器由 3 层全连接层网络 组成，输出节点数分别为 256、128、20，解码器同样由 3 层全连接网络组成，输出节点数 分别为 128、256、784。 预览版202112 12.2 Fashion MNIST

Vaswani et.al 的论文《Attention Is All You Need》 中，考虑到主导序列转导模型基于编码器-解码器配置中的复杂递归或卷积 神经网络，性能最好的模型被证明还是通过注意力机制（attention mechanism）连接编码器和解码器，因而《Attention Is All You Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， GPT-1：模型更简化、计算加速，更适合自然语言生成任务（NLG） VS 35 ◼ GPT1相比于Transformer等模型进行了显著简化 ✓ 相比于Transformer，GPT训练了一个12层仅decoder的解码器（原Transformer模型中包含Encoder和Decoder两部分）。 ✓ 相比于Google的BERT(Bidirectional Encoder Representations from

in size. 视频 视频编码 选择压缩和编码的⽅法。有关所有可⽤选项的列表，请参阅 视频格式. Note 标准 某些容器和编解码器彼此不兼容，因此如果您收到错误，请检查您的容器和 编解码器是否兼容。像容器和编解码器有时彼此不兼容，⼀些编解码器不能 使⽤任意维度。因此，请尝试坚持使⽤常见维度或研究您尝试使⽤的编解码 器的局限性。 输出质量 These are preset Rate Rate 视频⽂件可以使⽤所谓的可变⽐特率(VBR)。这⽤于使视频的某些⽚段较 少压缩到需要更多数据的帧，⽽较少的帧压缩到具有较少数据的帧。这可 以通过最⼩值和最⼤值来控制。 缓冲区 该 解码器码流缓冲 的⼤⼩。 码率 Maximum bit rate of the multiplexed stream. Multiplexing is the process of combining ⾳频编码器 要使⽤的⾳频格式。有关所有可⽤选项的列表，请参阅 视频格式. ⾳频声道 Sets the audio channel count. 采样率 设置⾳频 采样率。 码率 对于每个编解码器，您可以控制电影中声⾳的⽐特率(质量)。较⾼的⽐特率 是更⼤的⽂件，流更糟，但听起来更好。使⽤2的幂来兼容。 体积光渲染 设置⾳频的输出⾳量。 末级 Tip 视频格式的选择取决于您打算做什么。

级别设 置的任何颜⾊管理设置。 有关颜⾊管理属性的详细说明，请参阅 颜⾊管理 页⾯。 编码 参考 ⾯板: 属性 ‣ 输出 ‣ 编码 编码⾯板。 在这⾥，您可以选择要使⽤的视频容器、编解码器和压缩设置。使⽤所有这些 压缩选项，需要在⽂档⼤⼩、跨平台兼容性和播放质量之间进⾏权衡。在标题 中，您可以使⽤预设，这些预设会为您选择该类型输出的最佳设置。 Tip 查看 系统控制台, 您可以看 视频编码 选择压缩和编码的⽅法。有关所有可⽤选项的列表，请参阅 视频格式. Note 标准 某些容器和编解码器彼此不兼容，因此如果您收到错误，请检查您的容器和编 解码器是否兼容。像容器和编解码器有时彼此不兼容，⼀些编解码器不能使⽤ 任意维度。因此，请尝试坚持使⽤常见维度或研究您尝试使⽤的编解码器的局 限性。 输出质量 这些是预设的 ⽐率（Rate）。 编码速度 在快速编码（更⼤的⽂件⼤⼩）和更多压缩（更⼩的⽂件⼤⼩）之间进⾏ 最⼩值/最⼤值 视频⽂件可以使⽤所谓的可变⽐特率（VBR）。这⽤于使视频的某些⽚段 较少压缩到需要更多数据的帧，⽽较少的帧压缩到具有较少数据的帧。这 可以通过 最⼩值 和 最⼤值 来控制。 缓冲区 该 解码器码流缓冲 的⼤⼩。 码率 多路复⽤流的最⼤⽐特率。 多路复⽤ 是将单独的视频和⾳频流合并到单 个⽂档中的过程，类似于将视频⽂档和MP3⾳频⽂档打包到zip⽂档中。 最⼤码包尺⼨ 根据源减少数据碎⽚或多路复⽤开销。