第三届中国 Rust 开发者大会 使用硬件加速 Tokio 演讲人： Loong.Dai, Cathy.Lu Loong Dai • Intel 云原生工程师 • 微软 MVP • Dapr 、 Thanos 、 Golangci-lint 的 Maintainer • 现在主要专注于服务网格领域，探索云原生软硬件结 合新范式 • Github ID: daixiang0 自我介绍

FFmpeg在Intel GPU上的 硬件加速与优化 赵军 DCG/NPG @ Intel 介绍FFmpeg VAAPI • Media pipeline review • 何谓FFmpeg VAAPI • 为什么我们需要FFmpeg VAAPI • 当前状态 • 更进一步的计划 • 附录 典型的 media pipeline File Device Network Stream XvMC-VLD • VLD (slice level acceleration) • MPEG-2, MPEG-4 on VIA Unichrome • Xv/XvMC 的限制 • 不支持解码所有阶段的硬件加速 • 依赖于X-protocol协议（转码时候，你需要Xwindow吗？） • 不支持硬件编码加速 • … Linux Video API 续 一 • 何谓VA-API(Video Acceleration MIT license • It opens and registers a backend • https://github.com/01org/libva • 依赖于后端驱动，可以提供Video硬件加速 • 解码 • 编码 • 图像后处理 可用的后端驱动 • Intel VA(i965) driver for Intel chip-sets • Intel hybrid driver • Intel

的生态环境：软件平台、硬件平台、方案合作伙伴 等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 Ø 本次题目的主要内容 Ø Python <- tools -> FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去 写算法？ Ø 硬件仿真：使用附加的硬件来替代用户系统的单片机并 完成单片机全部或大部分的功能。使用了附加硬件后用 户就可以对程序的运行进行控制，例如单步，全速，查 看资源断点等。硬件仿真是开发过程中所必须的。 Ø 大家对硬件加速的最初印象 Ø 不仅是嵌入式系统 软件仿真和硬件仿真 7 Ø 近期很热门的话题 Ø 目的：提高算法计算效率，缩短算法开发时间和验证时间 Ø 加速框架： Ø 分布式计算：多节点计算 Ø 并行计算：多处理器、多线程计算 利用实际的硬件环境。 Ø 常规python程序调试：开发者仍然可以用之前熟悉的环境去调试，host 可以是PC机，先把python 程序的 逻辑调试成功。PYNQ 主要是做了python算子和外设的硬件加速，做了个映射的工作。 PYNQ 是如何加速 Python 设计效率的 – con’t 16 • Follow the Steps: • https://pynq.readthedocs.io/en/v2

Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ ➢ 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 ➢ 本次题目的主要内容 ➢ Python <- tools -> FPGA ➢ 算法硬件加速：用FPGA的逻辑硬件实现算法加速 ➢ 算法如何在FPGA 中实现？如何用”与或非”门电路去写 算法？ ➢ 硬件仿真：使用附加的硬件来替代用户系统的单片机并 完成单片机全部或大部分的功能。使用了附加硬件后用 户就可以对程序的运行进行控制，例如单步，全速，查 看资源断点等。硬件仿真是开发过程中所必须的。 ➢ 大家对硬件加速的最初印象 ➢ 不仅是嵌入式系统 软件仿真和硬件仿真 7 ➢ 近期很热门的话题 ➢ 目的：提高算法计算效率，缩短算法开发时间和验证时间 ➢ 加速框架： ➢ 分布式计算：多节点计算 ➢ 并行计算：多处理器、多线程计算 利用实际的硬件环境。 ➢ 常规python程序调试：开发者仍然可以用之前熟悉的环境去调试，host 可以是PC机，先把python 程序的 逻辑调试成功。PYNQ 主要是做了python算子和外设的硬件加速，做了个映射的工作。 PYNQ 是如何加速 Python 设计效率的 – con’t 16 • Follow the Steps: • https://pynq.readthedocs.io/en/v2

Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 Ø 本次题目的主要内容 Ø Python <- tools -> FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去写 算法？ Ø 硬件仿真：使用附加的硬件来替代用户系统的单片机并 完成单片机全部或大部分的功能。使用了附加硬件后用 户就可以对程序的运行进行控制，例如单步，全速，查 看资源断点等。硬件仿真是开发过程中所必须的。 Ø 大家对硬件加速的最初印象 Ø 不仅是嵌入式系统 软件仿真和硬件仿真 7 Ø 近期很热门的话题 Ø 目的：提高算法计算效率，缩短算法开发时间和验证时间 Ø 加速框架： Ø 分布式计算：多节点计算 Ø 并行计算：多处理器、多线程计算 利用实际的硬件环境。 Ø 常规python程序调试：开发者仍然可以用之前熟悉的环境去调试，host 可以是PC机，先把python 程序的 逻辑调试成功。PYNQ 主要是做了python算子和外设的硬件加速，做了个映射的工作。 PYNQ 是如何加速 Python 设计效率的 – con’t 16 • Follow the Steps: • https://pynq.readthedocs.io/en/v2

密算法协议格式，整个 UADK 软件框架具有以下特点： 1. 稳定高效：支持地址共享技术，实现内存零拷贝，进行大数据量的加解密和压缩解压缩硬件加速，性能提升 10%+。 2. 硬件加速：借助 UADK 完成对硬件加速能力的加载，充分利用服务器硬件加速性能优势，实现数据加速处理。当前 已经在鲲鹏服务器完成验证。 3. 内存隔离：通过设备 PASID 区分各个进程的页表，保证每个进程的页表相互隔离，从而保证内存的安全。 针对大数据应用中的数据加解密应用，提供加解密算法硬件加速功能，全面提升大数据分析中的数据加解密带宽，释放 处理器的算力。 应用场景 2：分布式存储应用 在分布式存储业务中，通过提供磁盘全盘加密功能和数据压缩功能，为存储业务提供全面的数据安全保障和减少数据存 储空间。 应用场景 3：Web Server 应用 针对 Web 应用中 HTTPS 访问中的 RSA 加密通讯，提供 RSA 算法硬件加速功能，为客户提供高性能，安全的数字化解

Keycenter HTTP1 TLS1.2 MMTP Mtls MQTT HTTP2 TLS1.3 QUIC 国密 硬件加速 安全合规 Spanner LVS(四层负载) DNS LDC2 Spanner Spanner APP APP APP APP Keycenter 硬件加速 安全合规 亿级用户同时在线 千万级每秒RPC请求 百万级每秒推送Spanner 2010 • 自研，网络设备白盒化

G723/G726/G729(DE)、MP1/MP2/MP3(DE)、WMA(DE)、 GSM(D)、AC3(DE)、OPUS等等。 • S : ass、 SRT、XSUB等等。 • 硬件加速：VDA/Videotoolbox/Audiotoolbox/VAAPI/QSV/ NVENC/CUVID/OMX等等。 FFmpeg Device • 硬件⽅式：CDIO / DC1394 Seek 定位数据位置 Read/Write 读写数据 Pause/Shutdown 暂停/停⽌ Check 检测 FFmpeg KS [其他接⼜] • FFmpeg AVHWAccel硬件加速层： start_frame/end_frame 编码控制 decode_slice 解码控制 • FFmpeg⽹络层： 异步⽀持poll,iocp仅是提供接⼜框架； 同步代码内嵌⽀持。

管理各种规模的数据容量，数据量从数 GB 到数 PB 不等。 Greenplum 环境适用性强与其开放性、真正开源、社区活跃有密不可分的关系，一方面 Greenplum 能够独立于专用 硬件加速提供高性能的纯软件数据平台，无需专用硬件，另外一方面包括核心代码在内的全部开源，社区人员或客户 可最大化自由利用和借鉴 Greenplum 的优秀功能的同时，又可以反哺及影响总体产品研发方向，可以加快产品创新， 白皮书 9 白皮书 | 9 源代码在各种平台进行编译使用。作为能够独立于专用硬件加速提供高性能的纯软件数据平台，Greenplum 可根据 客户需求在任何位置运行。借助这种“不受限于基础架构”的方法，可以在本地不同的操作系统、不同的芯片环境或多 云环境（私有云或公有云）中部署

(input,per-stream) ：使用硬件加速解码匹配的流。允许 的 hwaccel 值为： none ：没有硬件加速（默认值） auto ：自动选择硬件加速 vda ：使用Apple的VDA硬件加速 vdpau ：使用VDPAU（Video Decode and Presentation API for Unix，类unix 下的技术标准）硬件加速 dxva2 ：使用DXVA2 装方式，你可能需要通过 --extra-cflags 和 --extra-ldflags 为编译指定本地的头文件和库文件 兼容OpenAL的实现有： Creative 官方的Windows实现,提供后备支持硬件加速的设备和软件，参考http://openal.org/ OpenAL Soft 便携式,开源(LGPL)软件实现。包括在Windows,Linux、Solaris、BSD操作系统上提供最常