第三届中国 Rust 开发者大会 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 公共开发部 嵌入式软件能力中心 本科就读加州大学圣地亚哥分校，毕业时长两年半， Rustacean 在 华为 目前正在使用 Rust 开发并行调度框架等模块。 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com Rust Runtime in Mobile Overview of asynchronous Rust #1 Rust 异步简介 Ylong async runtime #3 Ylong Runtime 并发框架 目录 Table of Contents #2 社区并发框架介绍以及与移动端的不适配性 Introduction to third party Runtime crates and environment Rust 异步机制 Asynchronous Rust 异步并发框架是许多大型应用、系统具备的底层能力。 区别于多线程编程模型，它带来以下优势：  任务调度颗粒度更小，充分利用线程资源  更可控的线程数  单个任务资源占用：几十 KB -> 几百 Byte  任务切换时间 : 10 微秒 -> 100 纳秒 Rust 语言并没有提供异步并发框架， 只提供异步所需的基本特性：

RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， 及以上（ Linux 用户） CMake 3.12 及以上（跨平台作业） Git 2.x （作业上传到 GitHub ） CUDA Toolkit 10.0 以上（ GPU 专题） 第 0 章：从并发到并行 摩尔定律：停止增长了吗？ • 晶体管的密度的确仍在指数增长，但处理器主 频却开始停止增长了，甚至有所下降。 • 很长时间之前我们就可以达到 2GHz （ 2001 年 8 月），根据 今天，双核或者四核机器在多线程应用方面，其性能不见得的是单核机器的两倍或者四倍。 这一问题一直伴随 CPU 发展至今。 并发和并行的区别 • 运用多线程的方式和动机，一般分为两种。 • 并发：单核处理器，操作系统通过时间片调 度算法，轮换着执行着不同的线程，看起来 就好像是同时运行一样，其实每一时刻只有 一个线程在运行。目的：异步地处理多个不 同的任务，避免同步造成的阻塞。 • 并行：多核处理器，每个处理器执行一个线

架构，大规模集群 分布式存储及并行计 算， Shared Nothing 模式支 持存储计算分离 高性能 基于 Rust 开发的分布式存储引 擎及图计算引擎，精细的内存 管理设计，内置索引系统，支 持毫秒级的并发查询响应速度 易用 AQL(Atlas Graph Query Language) ，类 SQL 的图查询 语言，内置上百种分析函数， 面向分析师友好，拥抱标准， 基于 openCypher 向 结点写，多结点读，支持读写分离 ，提供更好的并发查询能力 数据高可用实现 Chain Replication 数据高可用方案 服务高可用实现 系统中 Meta ， TS 服务采用主备架 构，基于 Raft 算法实现租约，进行 服务多活，保证图库不会出现单点 故障。 Raft 服务高可用方案 偏向分析型的分布式事务 【 MVOCC 事务提交】 基于多版本乐观并发控制技术的分布式事 务实现，在保障一致性的前提下，提供优 海致图神经网络平台特点 Rust 语言特性助力构建高性能图数据库 01 利用 Rust Stream 进行数据流式 处理 02 03 协程和严格的内存安全性，编译 时捕获数据竞争和并发问题 异步物理算子实现，异步 IO 数 据获取 01 可静态分发的 Trait 在不带来性 能损失的同时也提高代码组织性 02 03 强大的跨平台能力，在不同架构 下可以准确的控制代码行为 编译期间对生命周期检查确保内

RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， 发生了错误。 • 原来 std::thread 的实现背后是基于 pthread 的。 • 解决： CMakeLists.txt 里链接 Threads::Threads 即可： 有了多线程：异步处理请求 • 有了多线程的话，文件下载和用户交互分 别在两个线程，同时独立运行。从而下载 过程中也可以响应用户请求，提升了体验 。 • 可是发现一个问题：我输入完 pyb 以后， 他的确及时地和我交互了。但是用户交互 类，和 std::thread 不同在于：他的解构函数里会 自动调用 join() 函数，从而保证 pool 解 构时会自动等待全部线程执行完毕。 小彭老师快乐吐槽时间 • 多线程、异步、无阻塞、并发，能提升程序响应速度，对现实世界中的软件工程至关重要 。 • 反面教材： blender 在运行物理解算的时候，界面会卡住，算完一帧后窗口才能刷新一遍 ，导致解算过程中基本别想做事，这一定程度上归功于

用 Why Rust ? • 安全性 • 高性能 • 跨平台兼容 • 强大的类型系统和抽象表达能力 • 优秀的 Rust 生态和开发工具链 • C FFI 互操作能力 • async/await 异步编程 Rust - Crates Used in taosX • Async runtime: https://crates.io/crates/tokio • Job Scheduler: https://crates RPC 框架 Tokio - Future and .abort() • Future • JoinHandle::abort() Tokio - Cancel • Case 2: tokio::select with stream::iter • Case 1: cancel with blocking code Tokio - Notes • 使用非阻塞或并发 / 异步数据结构 • • 使用异步锁和异步 Channel 。 • 使用 spawn_blocking 提交耗时任务 • C FFI 调用时，要关注上下文的线程安全性。 • 多个运行时之间使用 Channel 通信，降低锁使用范围。 Tokio - Graceful Stop • futures::future::Abortable 可用于短路一个 stream • tokio_util::sync::CancellationToken

中国大会第十届 Rust 处于起步阶段 中文圈学习资料或书籍少，有部分是翻译国外产品，能 不能中国人向国外输出作品 Rust 缺少学习资源 Rust 未来大有可为 Rust 在操作系统，数据库，各种框架和工具上应用范围 广 写作动机 当情况不明时，抱着一个纯粹的目标干事就行了，其他 的留给时间检验。不懂就学，技术写作更像一种共创， 要反复总结和修改 ( 费曼学习法 ) 。 写作本书给我的启示 Rust 技术论坛 公号：觉学社、 Rust 编程指北 # 书籍 《编程之道》、《 Rust 权威指南》、《 Rust 实战》、《深入浅出 Rust 》、 《 Rust 死灵书》、《 Rust 异步编程》、 《数据结构与算法（ Rust 语言描述）》 # 在线教程 Rust Course 、 PingCap Talent Plan 、 Rust LeetCode 、令狐壹冲 (B 站 )

面向开发者的云原生环境 灵活易用的高并发工作流 高效协同的测试管理 云原生 IDE 插件（ VS CODE) 客观精准的效能洞察 强大免运维的模版库 • 自动生成面向开发、测试、运维角 色的工作流 • 多个微服务并行构建、部署、测 试，代码验证效率 UP • 自定义工作流，灵活编排发布、自 主开发和对接企业内部流程和系统 扫码查看飞书主干开发最佳实践 灵活易用的高并发工作流 • 一键拉起环境 / 环境配置管理 • 服务编排 / 跨项目共享服务 • 开发者共享环境 - 自测子环境 扫码查看 TT 语音最佳实践 面向开发者的云原生环境 扫码查看飞书集成测试案例 • 无缝对接主流测试框架 / 平台 • API/E2E/UI 自动化测试管理 • 与开发协同自动化验收 • 自动化测试效益分析 高效协同的测试管理 • 一套 YAML/Chart 模板管理数百微服务 • 每个技术栈抽象一套构建模板 staging 环境，在不 同的集群上随时几分钟复制环境，随时满足自测需求 • 日常开发过程更便利 ：直接在 Zadig 上查看服务的状态、服务日 志、登录到容器中排查诊断问题，减少多平台切换 • 高并发工作流触发 ：在 Zadig 上触发多服务的构建，研发更新服务 更方便，不需要额外维护工作流的负担。 4 Zadig 企业案例 实践剖析 “ ” 扫 码 下 载 致 匠 心 电 子 书 Zadig

RAII 内存管理 3.现代 C++ 进阶：模板元编程与函数式编程 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， delines/blob/master/CppCoreGuidelines.md) - [LearnCpp 中文版 ](https://learncpp-cn.github.io/) - [C++ 并发编程实战 ](https://www.bookstack.cn/read/Cpp_Concurrency_In_Action/README.md) - [ 因特尔 TBB 编程指南 ](https://www

如何从核函数里返回数据？ • 我们试着把 kernel 的返回类型声明为 int ，试 图从 GPU 返回数据到 CPU 。 • 但发现这样做会在编译期出错，为什么？ • 刚刚说了 kernel 的调用是异步的，返回的时候 ，并不会实际让 GPU 把核函数执行完毕，必须 cudaDeviceSynchronize() 等待他执行完毕（和 线程的 join 很像）。所以，不可能从 kernel 里 测试一下时间 • 使用第六节课中的 ticktock.h 测试一下 CPU 和 GPU 的用时。 • 注意，这里一定要把 TOCK 放到同步之 后。原因之前说过，因为对 GPU 核函数 的调用是异步的，只有 cudaDeviceSynchronize() 以后才真正完 成执行，才能算出真的时间。 • 查看结果，发现 GPU 比 CPU 快了很多 ，这是当然的。 调整参数 • 适当调整板块数量 和第七课提到的循环合并法局部迭代一样的方式 。 • 不过这里改用了 GPU 的板块共享内存，线程之 间自动并行，没有像 CPU 那样用循环。 下一课主题？ GPU vs CPU • cudaStream 异步编程（流水线式并行） • Nsight profiler 性能分析（和 Vtune 类似） • texture 与 constant 内存（为啥要他们？） • 动态内存分配（ GPU 上调用 malloc/free

Cancellation Rust 生产实践 生产实践 – Tokio 为什么使用 Tokio ？ 1. 业界使用最广泛，测试齐全。 2. Tokio 支持 async/await ，提供了高效的异步锁、异步队列等。 3. Tokio 社区支持好。 生产实践 – Tokio Rust future preemption https://docs.rs/tokio/latest/tok