INDUSTRIES, INCORPORATED ACCELERATED VISUAL PERCEPTION LIANGFU CHEN 11/16/2019 DEPLOY VTA ON INTEL FPGA©2019 HARMAN INTERNATIONAL INDUSTRIES, INCORPORATED 2 Moore’s Law is Slowing Down MOTIVATION©2019 DE10-Nano DEPLOY VTA ON INTEL FPGA©2019 HARMAN INTERNATIONAL INDUSTRIES, INCORPORATED 5 Software - CMA Contiguous Memory Allocation – Linux Kernel DEPLOY VTA ON INTEL FPGA https://pynq.readthedocs.io/en/v2 INCORPORATED 6 Software - CMA Contiguous Memory Allocation – Linux Kernel Module DEPLOY VTA ON INTEL FPGA Setup Environment Variables Navigate to 3rdparty/cma and build kernel module Copy kernel module

FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年10月19日，北京 2 ➢ Python 语言：易学易读易用、可扩展性、可移植性等。 ➢ Python 开发工具：库丰富、效率高、调试方便 ➢ Python 的应用： 人工智能、数据分析等 ➢ Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 ➢ 本次题目的主要内容 ➢ Python <- tools -> FPGA ➢ 算法硬件加速：用FPGA的逻辑硬件实现算法加速 ➢ 算法如何在FPGA 中实现？如何用”与或非”门电路去写 算法？ ➢ 目前哪些 Xilinx FPGA的开发工具支持python 语言？ ➢ 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ ➢ 传统的计算平台：基于通用处理器的架构，Intel x86 ➢ 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 ➢ 嵌入式计算： ➢ 嵌入式系统是以应用为中心，以计算机技术为基础，软硬件可裁剪，适用于应用系统对功能、可靠 性、成本、体积、功耗有严格要求的专用计算机系统，它一般由嵌入式微处理器、外围硬件设备、

FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年10月20日，深圳 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴 等 Ø 用 Python 如何开发嵌入式产品？如何实现 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 Ø 本次题目的主要内容 Ø Python <- tools -> FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去 写算法？ Ø 目前哪些 Xilinx FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel x86 Ø 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 Ø 嵌入式计算： Ø 嵌入式系统是以应用为中心，以计算机技术为基础，软硬件可裁剪，适用于应用系统对功能、可靠 性、成本、体积、功耗有严格要求的专用计算机系统，它一般由嵌入式微处理器、外围硬件设备、

FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年9月21日， 上海 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 Ø 用 Python 如何开发嵌入式产品？如何实现 之前基于python开发的工程师很少接触嵌入式环境， 接触硬件 Ø 本次题目的主要内容 Ø Python <- tools -> FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去写 算法？ Ø 目前哪些 Xilinx FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel x86 Ø 新的嵌入式计算平台：MCU，DSP，FPGA，GPU、ASSP等 Ø 嵌入式计算： Ø 嵌入式系统是以应用为中心，以计算机技术为基础，软硬件可裁剪，适用于应用系统对功能、可靠 性、成本、体积、功耗有严格要求的专用计算机系统，它一般由嵌入式微处理器、外围硬件设备、

当Python遇上FPGA PYNQ开源项目的实践与体会 陆佳华 joshual@Xilinx.com 目录 CONTENTS FPGA 35th Computer Architecture Golden Age PYNQ Open Source Framework How Python helps, really a lot.. FPGA 35th National Inventors Inventors Hall of Fame Moore’s Law Gordon Moore, 1968 FPGA Ross Freeman, 1984 Integrated Circuit Jack Kilby, 1958 Field Programmable Gate Array FPGA CLB DSP CLB RAM RAM CLB DSP CLB DSP CLB CLB Innovation World’s First FPGA 1980 1990 2000 2010 2020 First 3D FPGA & HW/SW Programmable SoC Graphic of MPSoC, RFSoC First MPSoC & RFSoC ACAP First Virtex FPGA Virtex-2 Pro Page 7 Driving

© Copyright 2018 Xilinx Elliott Delaye FPGA CNN Accelerator and TVM© Copyright 2018 Xilinx TVM Target devices and models >> 2 HW Platforms ZCU102 ZCU104 Ultra96 PYNQ Face detection Pose estimation 24% 23% 85% 51% 52% 0% 20% 40% 60% 80% 100% VGG16 ResNet-50 GoogleNet-V3 Aristotle on 7020 FPGA Iphone8plus Kirin 970 CPU MEM CONTROLLER BUS Data Mover IMG WR SCHEDULER WEIGHTS WR SCHEDULER for mainstream neural networks >> 4© Copyright 2018 Xilinx Inference Flow >> 5 MxNet CPU Layers FPGA Layers Runtime Image Model Weights Calibration Set Quantizer Compiler Tensor Graph Optimization

Runtime (VM, Graph Runtime, Interpreter) Your Dispatcher Target Device General Devices (CPU/GPU/FPGA) Mark supported operators or subgraphs 1. Implement an operator-level annotator, OR 2. Implement Runtime (VM, Graph Runtime, Interpreter) Your Dispatcher Target Device General Devices (CPU/GPU/FPGA) Mark supported operators or subgraphs 1. Implement extern operator functions, OR 2. Implement a Runtime (VM, Graph Runtime, Interpreter) Your Dispatcher Target Device General Devices (CPU/GPU/FPGA) Mark supported operators or subgraphs 1. Implement extern operator functions, OR 2. Implement a

计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential πCloudML 虚拟数仓服务HTAP | 点查 (⼤模型)机器学习 向量数据计算 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算｜兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Machine Learning Large Language Models … 简 墨 (JANM) 存 储 统⼀ Catalog｜统⼀数据格式｜⼀份数据多引擎计算 Parquet πFPGA 数据存储｜虚拟数仓 | 特定领域（如神经⽹络） Orc … Mundo 元数据管理系统 计算引擎之PieCloudML（⼤模型）机器学习，更⼤模型多模机器学习数据计算 @2024 OpenPie

Creative Commons Attribution 4.0 International License SYCL Single Source C++ Parallel Programming GPU FPGA DSP Custom Hardware GPU CPU CPU CPU Standard C++ Application Code C++ Libraries ML Frameworks Fusion can give better performance on complex apps and libs than hand-coding AI/Tensor HW GPU FPGA DSP Custom Hardware GPU CPU CPU CPU AI/Tensor HW Other BackendsSYCL 2020 is here! Open Standard -generation-supercomputers/ https://research-portal.uws.ac.uk/en/publications/trisycl-for-xilinx-fpga https://www.imaginationtech.com/news/press-release/tensorflow-gets-native-support-for-powervr-gp

Functions Rekognition Transcribe Comprehend AWS机器学习、人工智能服务 机器学习框架和基础设施 框架 接口 基础设施 P3 & P3dn C5 FPGA DL AMI Elastic Inference 机器学习服务 Amazon SageMaker Ground Truth Notebooks Algorithms + Marketplace PyTorch 启动 iPython 终端 运行 PyTorch 程序 已切换环境 AWS机器学习、人工智能服务 机器学习框架和基础设施 框架 接口 基础设施 P3 & P3dn C5 FPGA DL AMI Elastic Inference 机器学习服务 Amazon SageMaker Ground Truth Notebooks Algorithms + Marketplace ost _direct_marketing_sagemaker_APIs.ipynb AWS机器学习、人工智能服务 机器学习框架和基础设施 框架 接口 基础设施 P3 & P3dn C5 FPGA DL AMI Elastic Inference 机器学习服务 Amazon SageMaker Ground Truth Notebooks Algorithms + Marketplace