Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年10月19日，北京 2 ➢ Python 语言：易学易读易用、可扩展性、可移植性等。 ➢ Python 开发工具：库丰富、效率高、调试方便 ➢ Python 的应用： 人工智能、数据分析等 ➢ Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ ➢ ➢ 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 ➢ 本次题目的主要内容 ➢ Python <- tools -> FPGA ➢ 算法硬件加速：用FPGA的逻辑硬件实现算法加速 ➢ 算法如何在FPGA 中实现？如何用”与或非”门电路去写 算法？ ➢ 目前哪些 Xilinx FPGA的开发工具支持python 语言？ ➢ 目前Xilinx 工具支持python 的主要应用领域 件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 ➢ 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. ➢ 加速计算： ➢ 如何提高计算效率，提高计算性能 ➢ 加速计算框架的考虑 ➢ 加速计算平台的考虑 ➢ FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 ➢ FPGA（Field Programmable Gate Array）是在

FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年10月20日，深圳 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴 等 Ø 用 Python 如何开发嵌入式产品？如何实现 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 Ø 本次题目的主要内容 Ø Python <- tools -> FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去 写算法？ Ø 目前哪些 Xilinx FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 Ø 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. Ø 加速计算： Ø 如何提高计算效率，提高计算性能 Ø 加速计算框架的考虑 Ø 加速计算平台的考虑 Ø FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 Ø FPGA（Field Programmable Gate Array）是在

Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年9月21日， 上海 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 Ø 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ Ø Ø 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 Ø 本次题目的主要内容 Ø Python <- tools -> FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去写 算法？ Ø 目前哪些 Xilinx FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 的主要应用领域 件设备、 嵌入 式操作系统以及用户的应用程序等四个部分组成。 Ø 嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. Ø 加速计算： Ø 如何提高计算效率，提高计算性能 Ø 加速计算框架的考虑 Ø 加速计算平台的考虑 Ø FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 Ø FPGA（Field Programmable Gate Array）是在

● Linux + NFS ● server-side copy ● https://bugs.python.org/issue37159 Speedup shutil.copytree() 加速 shutil.copytree() >>> import shutil >>> shutil.copytree('somedir', 'somedir-2') Copy directory tree

Python 启动加速 探索及实践 主讲人： 严懿宸 – 阿里云 严懿宸 曾于 Oracle Labs 参与 GraalVM 开发 毕业后加入阿里云 – 编译器 目前负责 Python / Node.js 的 Runtime 优化 Content • Python 启动速度简析 • PyCDS 设计与实现 • 更多讨论 Python startup time Python startup

Conv、Linear、Transformers 来源: Why GEMM is at the heart of deep learning, Pete Warden Convolution • AlexNet 模型推理各个层计算比例 • 86.1% • 2.6% 来源: Learning Semantic Image Representations at a Large Scale, Yangqing Jia Convolution 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON 原始算法 展开4x1 向量化 GEMM • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON • 硬件加速 • Nvidia Volta 架构引入 tensor core • Intel AMX, Advanced Matrix Extension • ARM SME, Scalable Matrix BFMMLA • 类型转换指令 BFCVT • BFMMLA • 128 bit 向量寄存器 • 单指令完成 (2x4) * (4x2) • 16 mul + 16 add 深度学习推理加速 • BF16 gemm 实现 • ARM Compute Library • OpenBLAS • TensorFlow • oneDNN + ACL • DNNL_DEFAULT_FPMATH_MODE=BF16

"There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化，取决于热点部分的占⽐比和该部分的加速程度 No Free Lunch • 定位热点 & 热点加速 • 对于项⽬目开发周期：
 1. 先做出效果
 2. 确定整体pipeline
 3. 再考虑优化 • 对于⼈人⼯工智能项⽬目：迭代周期更更⻓长，更更是如此 • 更更⾼高效的kernel函数实现，替代默认导出的算⼦子 知识蒸馏 • Teacher Student 学的更更快 • Huggingface Distill BERT • 12层 蒸出 6层 what’s next? • TensorRT inference server
 改变pipeline
 • cpu化
 不不在意延时，只追求吞吐量量
 • fp16低精度 THANK

”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归： 省略所有系数。例如，循环 2? 次、5? + 1 次等，都可以简化记为 ? 次，因为 ? 前面的系数对时间复 杂度没有影响。 3. 循环嵌套时使用乘法。总操作数量等于外层循环和内层循环操作数量之积，每一层循环依然可以分别 套用第 1. 点和第 2. 点的技巧。 给定一个函数，我们可以用上述技巧来统计操作数量： def algorithm(n: int): a = 1 # +0（技巧 1） a

”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为「尾递归 tail recursion」。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归： 省略所有系数。例如，循环 2? 次、5? + 1 次等，都可以简化记为 ? 次，因为 ? 前面的系数对时间复 杂度没有影响。 3. 循环嵌套时使用乘法。总操作数量等于外层循环和内层循环操作数量之积，每一层循环依然可以分别 套用第 1. 点和第 2. 点的技巧。 给定一个函数，我们可以用上述技巧来统计操作数量： def algorithm(n: int): a = 1 # +0（技巧 1） a

”。 2. 归：触发“终止条件”后，程序从最深层的递归函数开始逐层返回，汇聚每一层的结果。 而从实现的角度看，递归代码主要包含三个要素。 1. 终止条件：用于决定什么时候由“递”转“归”。 2. 递归调用：对应“递”，函数调用自身，通常输入更小或更简化的参数。 3. 返回结果：对应“归”，将当前递归层级的结果返回至上一层。 观察以下代码，我们只需调用函数 recur(n) ，就可以完成 间效率上与迭代相当。这种情况被称为尾递归（tail recursion）。 ‧ 普通递归：当函数返回到上一层级的函数后，需要继续执行代码，因此系统需要保存上一层调用的上下 文。 ‧ 尾递归：递归调用是函数返回前的最后一个操作，这意味着函数返回到上一层级后，无须继续执行其他 操作，因此系统无须保存上一层函数的上下文。 以计算 1 + 2 + ⋯ + ? 为例，我们可以将结果变量 res 设为函数参数，从而实现尾递归： 省略所有系数。例如，循环 2? 次、5? + 1 次等，都可以简化记为 ? 次，因为 ? 前面的系数对时间复 杂度没有影响。 3. 循环嵌套时使用乘法。总操作数量等于外层循环和内层循环操作数量之积，每一层循环依然可以分别 套用第 1. 点和第 2. 点的技巧。 给定一个函数，我们可以用上述技巧来统计操作数量： def algorithm(n: int): a = 1 # +0（技巧 1） a