ARM 芯片的 Python + AI 算力优化 主讲人： 朱宏林 – 阿里云程序语言与编译器团队 简介 • 当今开发者们大量使用 Python 语言编写的 AI 程序。过去这些程序总跑在 GPU 或者 x86 架构的 CPU 上。然而综合考虑到功耗、成本、性能等因素，云厂商们开始建设 ARM 架构的服务平台，如 何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 提升明显。目前，该成果已经被集成进 OpenBLAS 和 PyTorch 中。 • 本次演讲，将向大家介绍我们在倚天 710 ARM 芯片上开展的 Python + AI 优化工作，以及在 ARM 云平台上部署 Python + AI 任务的最佳实践。 深度学习 • 广泛使用的深度学习框架 • TensorFlow、PyTorch • 结合硬件（ARM 服务端芯片） • 倚天 710 •

26 Ø 目前赛灵思的AI开发工具支持 python 语言 输入，可以做 AI inference 的数据前处理 和后处理的工作。这部分工作可以在SOC 的ARM 里面实现。 Ø Xilinx AI Developer Resource Ø https://www.xilinx.com/products/ design-tools/ai-inference/ai- developer-hub Xilinx Edge AI Tutorial Ø https://github.com/Xilinx/Edge-AI- Platform-Tutorials Ø Xilinx ModelZoo Ø https://www.xilinx.com/bin/public /openDownload?filename=all_mo dels_20190528.zip Ø Xilinx AI Forums Forums Ø https://forums.xilinx.com/t5/Deep hi-DNNDK/bd-p/Deephi Python in Edge AI Computing – Xilinx DNNDK 27 马达控制和可预测性维护 FOC Algorithm HLS/SDSoC Translation and Overlay 马达控制可视化： Python with Jupyter

26 Ø 目前赛灵思的AI开发工具支持 python 语言 输入，可以做 AI inference 的数据前处理和 后处理的工作。这部分工作可以在SOC的 ARM 里面实现。 Ø Xilinx AI Developer Resource Ø https://www.xilinx.com/products/desig n-tools/ai-inference/ai-developer- hub Xilinx Edge AI Tutorial Ø https://github.com/Xilinx/Edge-AI- Platform-Tutorials Ø Xilinx ModelZoo Ø https://www.xilinx.com/bin/public/ope nDownload?filename=all_models_2019 0528.zip Ø Xilinx AI Forums Forums Ø https://forums.xilinx.com/t5/Deephi- DNNDK/bd-p/Deephi Python in Edge AI Computing – Xilinx DNNDK 27 马达控制和可预测性维护 FOC Algorithm HLS/SDSoC Translation and Overlay 马达控制可视化： Python with Jupyter

26 ➢ 目前赛灵思的AI开发工具支持 python 语言 输入，可以做 AI inference 的数据前处理和 后处理的工作。这部分工作可以在SOC的 ARM 里面实现。 ➢ Xilinx AI Developer Resource ➢ https://www.xilinx.com/products/desig n-tools/ai-inference/ai-developer- hub Xilinx Edge AI Tutorial ➢ https://github.com/Xilinx/Edge-AI- Platform-Tutorials ➢ Xilinx ModelZoo ➢ https://www.xilinx.com/bin/public/ope nDownload?filename=all_models_2019 0528.zip ➢ Xilinx AI Forums Forums ➢ https://forums.xilinx.com/t5/Deephi- DNNDK/bd-p/Deephi Python in Edge AI Computing – Xilinx DNNDK 27 马达控制和可预测性维护 FOC Algorithm HLS/SDSoC Translation and Overlay 马达控制可视化： Python with Jupyter

程序员尚且如此，对于测试人员来说，GPT 也成了一道门槛和一道台阶。但是，除 了恐惧，我们可以利用 GPT 做些什么呢？总不能坐以待毙是不是？！何不想想，如何让 GPT 为我所用。驯服 AI，而不是被 AI 征服。这一点，应该是作为人类最基本的觉悟。 所以，笔者想，AI 辅助测试可能会成了一个新标杆。那么，让我们看看 GPT 能帮我 们做什么吧。 常见的，利用 GPT 广阔的知识领域进行问题检索。比如，帮助我们进行知识问答， 除此之外呢？有没有试想过：既然如此好用，那为什么不能自动帮我们生成用例呢？ 谁说不能？！让我们一起来了解一下，GPT 的新型编程助手——Bito AI。 Bito AI 简介 官网地址：https://bito.ai/。 Bito 是一款免费的（敲黑板，划重点了）AI 驱动代码助手。官网鲜明地表示：它存 在的目的，是提升开发人员编程效率，将代码生成速度提高 10 倍。就看这个数据是不是 就很引人注目？ 加密。 除此之外呢？它还可以生成测试用例，保障软件开发人员的代码质量，提高开发团 队生产力和效率。 值得再次强调的是：它是一款免费工具。免费！免费！ ·安装方法 上面已经说过，Bito AI 适用于 AppCode、GoLand、IntelliJ、PyCharm、PhpStorm、 Rider、RubyMine 和 WebStorm，具有很好的兼容性。所有，它能满足绝大部分开发人员

Domain-specific Knowledge Graph Construction Preliminaries Preliminaries AI system = Knowledge + Reasoning Preliminaries How dose the AI system works? Q: 1M = ? B 1024 Q: Where was David Beckham born? （机器的潜台词：“我”会推理，so easy ！）。 所以，通俗的来说，在AI system中：要么从原有的知识体系中直接提取信息来使用，要 么进行推理。 将知识融合在机器中，使机器能够利用我们人类知识、专家知识解决问题，这就是早期 知识工程（Knowledge Engineering）的核心内涵。 Preliminaries Explaining AI system from the perspective perspective of KE – Symbolism AI System = Knowledge + Reasoning  符号主义的主要观点 • 认知即计算 • 知识是信息的一种形式，是构成智能的基础 • 知识表示、知识推理、知识运用是人工智能的核心  Physical Symbol System • A physical symbol system has the necessary and

Code 远程开发 —— 远程机器 VS Code 远程开发 —— WSL 垃圾分类 垃圾分类的不同目标用户 • ToC: 微信小程序 • ToB: AI on the Edge ToC: 微信小程序 三种 Azure 的 AI 解决方案 Azure Machine Learning • Your data • Your model Azure Custom Vision Vision • Your data • Our model Azure Computer Vision • Our data • Our model 解决方案 ToB: AI + IoT https://github.com/jxtxzzw/Microsoft-Hackathon-2019-Intelligent-Garbage-Classification-IoT-Edge-Solution • 数据隐私 • 成本 • 大规模部署 • 离线运行 • 支持不同的设备 • Linux, Windows • AMD64, ARM32v7, ARM64 Azure IoT Edge + AI 把 AI 运算下放到边缘计算节点。 如何运作？ 问题迎刃而解 • 延迟 • 数据隐私 • 成本 • 大规模部署 • 离线运行 • 支持不同的设备 • Linux, Windows • AMD64

应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus 数据治理理：Python ETL、PySpark、Flink/Blink-Python • 机器器学习：Airflow（编排）+ 如下机器器学习框架 • ⾃自动化：Ansible、Puppet等 • AI增强 - 降噪去重与模式识别 • 对海海量量⽇日志进⾏行行模式聚类（例例如从65万条⽇日志，聚类出50条⽇日志模式） 阿⾥里里云⽇日志服务 Sumologic Splunk 消除告警疲劳 • 使⽤用模式识别正常⾏行行为与异常⾏行行为。 AI增强 - 异常值（Outlier)与异常识别（Anomaly） • 以历史数据作为基准，对周期性或断层数据异常进⾏行行识别 阿⾥里里云⽇日志服务 ElasticSearch ML (X-Pack) Splunk AI增强 - 预测 • 对周期性趋势性数据进⾏行行预测 阿⾥里里云⽇日志服务 ElasticSearch ML (X-Pack) Splunk AI增强 - 根因分析

api接口都是基于web后端技术演化而来 • 只要有需要web开发的，app开发的，拥有数据交互需求的，web和api后端开发需求依然是庞 大的 • 分享一个团队里的问题，别人用python都在搞AI，大数据，物联网这些新的应用领域的高精尖 新技术，我们做python web开发的还有前（钱）途吗？ • 用户问题和技术问题： • 用户问题： 我饿了，不去餐馆，也能吃到某家餐厅的饭菜 • 商业模式： 用户需求和技术需求哪个更重要 • Web开发技术 • 庞大的用户群体，最贴近用户的部分 • 大数据的开发技术 • 互联网战场的杀手锏 • 自动化测试、运维的技术 • 极大提高效率，降低人工成本 • AI开发技术 • 让自动化更加的智慧 • 物联网（micropython） • 各种设备的智慧互联 技术的价值到底在哪里 • 你为什么选择使用python？ • 你为什么选择软件开发编程？ •

套标准接口、特性库和工具包，集成深度学习 的算法封装、数据调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是算法工 程师的必备工具之一。 美国互联网对AI底层技术战略性投入力度较大，但中国的AI产业主要受需求拉动，大多数人工智能 公司布局应用层。 一、背景：深度学习框架的演进 一、背景：深度学习框架的重要性 二、原理：深度学习框架结构 ����� ���������