云原生边云协同AI框架实践 普杰 华为云边缘云创新Lab 高级工程师 KubeEdge SIG AI Tech Lead 目 录 Edge AI现状与趋势 01 Sedna：边云协同AI框架 02 Sedna-GM：K8S Operator 03 实践案例 04 Edge AI现状与趋势 第一部分 Why Edge AI？ • Cloud中心化的AI计算范式不足以应对端上AI AI应用到越来越多的边缘场景 分布式协同AI 概念 将人工智能相关的部分任务部署到边缘设备，基于边缘设备、边缘服务 器、云服务器，利用分布式乃至分布式协同方式实现人工智能的技术 数据在边缘产生 边侧逐步具备AI能力 分布式协同AI 核心驱动力 分布式协同AI核心驱动力 • 随着边侧算力逐步强化，边缘AI持续演变至分布式协同AI 分布式协同AI技术挑战 1. 边缘资源碎片化 2. 边缘数据孤岛 边缘数据孤岛 3. 边缘样本少 4. 边缘数据异构 分布式协同AI 技术挑战 边云协同AI框架 第二部分 首个分布式协同AI开源项目Sedna 基于KubeEdge提供的边云协同能力，支持现有AI类应用无缝下沉到边缘 为分布式协同机器学习服务 ✓ 降低构建与部署成本 ✓ 提升模型性能 ✓ 保护数据隐私 SIG成员近年发表分 布式协同AI顶会论文 10+ SIG成员在AI顶会IJCAI

台设备上支持OpenCL的能力。默认，FFmpeg会运行在首选平台的首选设备上，通过设置全局的 OpenCL则可以实现在选定的OpenCL设备上运行，这样就可以在更快的OpenCL设备上运行（平 时节点，需要时才选用性能高但耗电的设备） 这个选项有助于帮助用户了解信息以进行有效配置。它将在每个设备上运行基准测试，并以性能 排序所有设备，用户可以在随后调用 ffmpeg 时使用 -opencl_options 前导的，则字符串 expr 为一个表达式用于计算关键帧间隔数。关键帧 间隔值必须是一个非零数值。 如果一个时间值是” chapters [delta]”则表示文件中从 delta 章开始的所有章节点计算以 秒为单位的时间，并把该时间所指帧强制为关键帧。这个选项常用于确保输出文件中所有章标记 点或者其他点所指帧都是关键帧（这样可以方便定位）。例如下面的选项代码就可以使“第5分钟 以及章节chapters-0 在第2次编码中使用内部控制段 30. ‘gray’ 31. 32. 只有decode/encode灰度 33. ‘emu_edge’ 34. 35. 不描绘边缘 36. ‘psnr’ 37. 38. 在设置了错误变量时仍然继续编码 39. ‘truncated’ 40. ‘naq’ 41. 42. 规范的自适应量化 43

基于边缘架构的可编程MQTT服务 CONTENTS 背景说明 O1 O2 O4 HPMQ简介 HPMQ开发说明 HPMQ未来规划 O3 1. 背景说明 物联⽹时代带来的变化 海量 连⽹ 设备 海量数据处理？ 设备安全性？ 共性：边缘 原来以数据中 ⼼为核⼼的云 端架构是否还 满⾜需求？ 01 02 03 边缘架构 ⼀种分布式计 算架构 构成边缘 计算架构 计算架构 的核⼼ 可在边缘直接对数据进⾏相 关的计算（处理/存储）并提 供相应的查询功能 边缘架构 物联⽹设备的纽带 2. HPMQ 简介 HPMQ是基于Rust语⾔开发的 下⼀代可编程边缘分布式 MQTT软件，主要有以下⼏个 核⼼特性： • Geo-Distributed • 可编程性 • 云边⼀体化 • 兼容异构设备 HPMQ （Hyperconverged Programmable 只能做到在数据中⼼内相关的分布式扩展，⽆法直接进⾏ 全球节点的扩展 • 复杂的容灾⽅案 为什么需要geo-distributed 传统⽅案存在有问题 解决⽅案 geo-distributed架构 + 调度 如何管理分布式⽹络 我们主要基于eclipse-zenoh来做⼆次开 发，eclipse-zenoh是⼀款很优秀的rust 语⾔编写的，基于边缘架构的，开源分 布式消息服务基础架构，它帮我们解决

采用了更简洁的 Anchor-free 检测方法。由于 Anchor-based 检测器需 要在训练之前进行聚类分析以确定最佳 Anchor 集合，这会一定程度提高检测器的复 杂度；同时，在一些边缘端的应用中，需要在硬件之间搬运大量检测结果的步骤，也 会带来额外的延时。而 Anchor-free 无锚范式因其泛化能力强，解码逻辑更简单， 在近几年中应用比较广泛。经过对 Anchor-free 在训练和部署中网络结构是保持一致的。 22 > 2022年美团技术年货 图 4 RepVGG 和 RepOpt 结构的 QAT 过程示意图 如图 4 （右）所示，对 RepOpt 的卷积等算子加入伪量化节点进行量化感知训练，提 升量化模型精度，然后直接部署该量化模型，而不需要再进行模型融合的操作。后 文，我们将给出具体的 QAT 算法及对模型精度的提升结果。 2.2 基于量化敏感度分析的部分量化 量化部署时，可以直接利用 TensorRT 的 PTQ 接口进行生成量化引擎，但是这种 方法往往精度损失较大。因此，一般要先进行 QAT，使量化模型精度满足业务需求， 然后导出带有“Quant”、“DeQuant”节点的 ONNX，最后再利用 TensorRT 构 建量化引擎。我们发现这两种方案最终生成的图结构并不相同，导致部署模型的实际 运行效率存在很大的差异，通常 QAT 方法生成的模型效率更低。 我们在

评App顶部金刚位的截图，对于这部分数据，如何做到运营可配？ 首先，我们对运营数据做需求拆解。对于这块数据，每个 “节点”（对应每个位置：如美食，技术上我们 称之为 “节点”），其基本的运营诉求如下： 1. 节点内容信息：标题、图片、跳转链接、排序。 2. 节点的过滤维度信息：城市、版本、平台、渠道等。 3. 节点其他信息：角标，如外卖节点，其有一个下午茶这样的角标。值得注意的是，像下午茶这样的角标，除去文案、 文案颜色 迎刃 而解。 5.2 技术分析 5.2 技术分析 我们做一下进一步的技术分析： APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 首先，这里有节点，每个节点（Node）有其相应的内容（Content），节点与内容是“一对多”的关系。 这里的内容，我们指的是如标题、图片、跳转链接等信息，虽然是“一对多”的关系，但最后在同一个城 市、同一个版本下（可选择）只显示一条内容。 全不同，这里我们 就需要按版本的不同配置两条不同的内容信息。 其次，节点与节点之间有两层关系，其一为“平级关系”，如美食与外卖的关系，这种关系就是一种简单 的列表关系；其二为树关系（Tree），如外卖与下午茶之间的关系。这里我们将角标（下午茶）视为一 个节点，因为角标也需要按不同维度进行过滤，因此下午茶成了外卖的子节点。其实这里有一些特殊的地 方，如果角标不需要按城市、版本等维度进行运营

地 利用区块链的去中心化、数据 不能篡改的特性，解决制约云 计算发展的“可信、可靠、可 控”的问题。 融入大数据采集和共享中，作 为数据源接入大数据分析平台。 强化分布式数据存 储和边缘计算能力， 拓展物联安全边界 和应用范围。 为训练深度学习系统提供可信数据， 优化分析决策的准确性和可信性。 人工智能 区块链 云计算 物联网 大数据 10 趣链科技 版权所有 ©2016-2021 参与者都可在其中写入、读取、 参与交易验证。 仅在机构内使用，读写权，记账 权由组织内自由定制。中心控制 者制定可参与和进行交易验证成 员范围。 联盟链仅限于联盟成员参与，系 统内交易确认节点为事先设定， 并通过共识机制确认。 『非许可链』公有链 私有链『许可链』 联盟链『许可链』 区块链发展的主力军 不同的组织形态分别对应不同的“区块链产品架构” 11 趣链科技 版权所有 ©2016-2021 司法存证 供应链⾦融 智慧政务 物联⽹ 能源电⼒ 跨境贸易 ⼯业物联⽹ 智慧城市 ... 不同于完全开放、任何⼈可以加⼊退出的⾮许可链，许可链架构与其差异性在于节点和⽤户在区块链⽹络中的准 ⼊要求。且⾮许可链⽹络节点⼤都由业务相关的机构组成，造成架构上共识、合约、安全、权限等⽅⾯的不同 13 趣链科技 版权所有 ©2016-2021 13 趣链科技 版权所有 ©2016-2021 13

大规模部署 • 离线运行 • 支持不同的设备 • Linux, Windows • AMD64, ARM32v7, ARM64 Azure IoT Edge + AI 把 AI 运算下放到边缘计算节点。 如何运作？ 问题迎刃而解 • 延迟 • 数据隐私 • 成本 • 大规模部署 • 离线运行 • 支持不同的设备 • Linux, Windows • AMD64, ARM32v7, ARM64 classifier 导出为 Docker 项目 3. 创建 IoT Edge solution 4. 构建 IoT Edge solution 5. 部署 IoT Edge solution 到边缘设备 https://docs.microsoft.com/en-us/azure/iot-edge/tutorial-deploy- custom-vision 展望未来 Azure Notebook

嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. Ø 加速计算： Ø 如何提高计算效率，提高计算性能 Ø 加速计算框架的考虑 Ø 加速计算平台的考虑 Ø FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 Ø FPGA（Field Programmable Gate Array）是在PAL、GAL等可编程器件的基础上进一步发展的 产物。它是作为专用集成电 Ø 大家对硬件加速的最初印象 Ø 不仅是嵌入式系统 软件仿真和硬件仿真 7 Ø 近期很热门的话题 Ø 目的：提高算法计算效率，缩短算法开发时间和验证时间 Ø 加速框架： Ø 分布式计算：多节点计算 Ø 并行计算：多处理器、多线程计算 Ø 分布式计算引擎：Spark Ø 并行计算语言（函数式编程）：Scala Ø 加速方法： Ø 算法的优化 Ø 算法的并行化 Ø CPU: 多核 CPU 开发者逐步了解硬件加速计算的理念 Ø生态：建立PYNQ 生态系统，和 python 开发者广泛合作 Ø算法：专注在算法应用的客户（计算机视觉、AI和大数据等） Ø产品：专注在小批量样机的设计 Ø领域：注重嵌入式计算，边缘计算，加快产品落地 Ø第三方合作：注重在AI 应用、视觉应用 欢迎大家和我们一起推动 Python 加速计算 ！ PYNQ on Ultra96 生态系统 Thank you. 陈志勇 Email:

嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. Ø 加速计算： Ø 如何提高计算效率，提高计算性能 Ø 加速计算框架的考虑 Ø 加速计算平台的考虑 Ø FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 Ø FPGA（Field Programmable Gate Array）是在PAL、GAL等可编程器件的基础上进一步发展的 产物。它是作为专用集成电 Ø 大家对硬件加速的最初印象 Ø 不仅是嵌入式系统 软件仿真和硬件仿真 7 Ø 近期很热门的话题 Ø 目的：提高算法计算效率，缩短算法开发时间和验证时间 Ø 加速框架： Ø 分布式计算：多节点计算 Ø 并行计算：多处理器、多线程计算 Ø 分布式计算引擎：Spark Ø 并行计算语言（函数式编程）：Scala Ø 加速方法： Ø 算法的优化 Ø 算法的并行化 Ø CPU: 多核 CPU 开发者逐步了解硬件加速计算的理念 Ø生态：建立PYNQ 生态系统，和 python 开发者广泛合作 Ø算法：专注在算法应用的客户（计算机视觉、AI和大数据等） Ø产品：专注在小批量样机的设计 Ø领域：注重嵌入式计算，边缘计算，加快产品落地 Ø第三方合作：注重在AI 应用、视觉应用 欢迎大家和我们一起推动 Python 加速计算 ！ PYNQ on Ultra96 生态系统 Thank you. 陈志勇 Email:

嵌入式系统促使计算机的形态和性能更加小型化,多功能,低功耗. ➢ 加速计算： ➢ 如何提高计算效率，提高计算性能 ➢ 加速计算框架的考虑 ➢ 加速计算平台的考虑 ➢ FPGA 是如何作为加速平台的？在边缘和云端 Python 与嵌入式计算 4 ➢ FPGA（Field Programmable Gate Array）是在PAL、GAL等可编程器件的基础上进一步发展的 产物。它是作为专用集成电 ➢ 大家对硬件加速的最初印象 ➢ 不仅是嵌入式系统 软件仿真和硬件仿真 7 ➢ 近期很热门的话题 ➢ 目的：提高算法计算效率，缩短算法开发时间和验证时间 ➢ 加速框架： ➢ 分布式计算：多节点计算 ➢ 并行计算：多处理器、多线程计算 ➢ 分布式计算引擎：Spark ➢ 并行计算语言（函数式编程）：Scala ➢ 加速方法： ➢ 算法的优化 ➢ 算法的并行化 ➢ CPU: 多核 CPU 开发者逐步了解硬件加速计算的理念 ➢生态：建立PYNQ 生态系统，和 python 开发者广泛合作 ➢算法：专注在算法应用的客户（计算机视觉、AI和大数据等） ➢产品：专注在小批量样机的设计 ➢领域：注重嵌入式计算，边缘计算，加快产品落地 ➢第三方合作：注重在AI 应用、视觉应用 欢迎大家和我们一起推动 Python 加速计算 ！ PYNQ on Ultra96 生态系统 Thank you. 陈志勇 Email: