第三届中国 Rust 开发者大会 使用 Rust 构建 LLM 应用 夏歌 SECTION TITLE SECTION TITLE 我们能不能直接用 Rust • 训练 • 推理 • AI 应用相关的工具 • WASI-NN spec • WasmEdge 已经支持 Pytorch 、 TensorFlow Lite • WASI-NN 2.0 比如 Langchain Rewrite 开发太难了 Low code Rust Rust 在系统编程已经取得了巨大成功 培养更广泛的 Rust 开发 围绕 LLM 生态封装相应的 Rust 框 架，让开发者能够使用简单的 Rust 写 应用 如何用 Rust 实现的 构建和部署 AI 相关工作流的 serverless 平台 • 上传 Rust function ，平台负责将 Rust 编译成 Wasm ，并运行在 WasmEdge Chat id 2. 将 prompt 传给 ChatGPT 3. 将每次 commit 的 hash 发给 ChatGPT 4. 规定 Review 单次 commit 时， ChatGPT 返回的格 式 "0.1.0" 使用 Rust 构建 PR review 机器人 函数的 trigger 1. 汇总所有的总结 "0.1.0"

第三届中国 Rust 开发者大会 应用 waPC (rust) 做软件测试工具 Alan poon 潘泳权 大家好！ @rustropy_gaming ruito_89 PhoTto / image / chart Webassembly Procedures Call waPC 协议标准化了本机代码调用 WebAssembly 和 WebAssembly 调用本机代码的通信 (messaging)

第三届中国 Rust 开发者大会 利用 Rust 重塑移动应用开发 陈东 Aaron Chen CTO AccountLabs Rust China Conf 2023 2023 移动应用开发有那些选择？ 1. Native 2. Flutter 3. React Native ？ 利用 Rust 重塑移动应用开发 React Native is an open-source reload - Rendering Engine 利用 Rust 重塑移动应用开发 跨平台开发的优势和局限性 Pros: - Fast - Single Codebase - Third-party support (Javascript better than Dart) 利用 Rust 重塑移动应用开发 跨平台开发的优势和局 限性 Cons: - Performance Codebase 跨平台开发到到底 应该跨什么？ UI or Logic ? 利用 Rust 重塑移动应用开发 Rust 在移动端应 用的价值 Rust is the only advanced choice for cross platform development. 利用 Rust 重塑移动应用开发 Rust 的特点 Why Rust? - Cross platform - Performance

第三届中国 Rust 开发者大会 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 公共开发部 嵌入式软件能力中心 本科就读加州大学圣地亚哥分校，毕业时长两年半， Rustacean 在 华为 目前正在使用 Rust 开发并行调度框架等模块。 Rust 异步并发框架在移动端的应用 陈明煜 chenmingyu4@huawei.com 华为 crates and their incompatibility with mobile environment Rust 异步机制 Asynchronous Rust 异步并发框架是许多大型应用、系统具备的底层能力。 区别于多线程编程模型，它带来以下优势：  任务调度颗粒度更小，充分利用线程资源  更可控的线程数  单个任务资源占用：几十 KB -> 几百 Byte  任务切换时间 现有框架无法完美适配移动端（二） 移动端诉求：易用性 • IO 密集性任务与 CPU 密集型任务融合 异步并发框架如 tokio 大多用于处理大量 异步 IO 场景，而 CPU 密集型任务一般 使用 rayon 。 当前单框架提供的接口无法使用户在一个 任务中同时处理 IO 任务以及 CPU 任 务。 Incompatibility of the third party Runtime with Mobile 现有框架无法完美适配移动端（二）

缓存在访问 者 (accessor) 的成员 map 里。访问者对象被我用 OpenMP 标记为 firstprivate ，意味着这个 map 是线程局部的，因此对他的访问不需要加锁， 更快。 应用在刚刚的 SNode 系统中 std::unordered_map 不支持 omp parallel for 遍历…… tbb::concurrent_unordered_map 可以 tbb::parallel_for double ：每个占据 8 字节 • 很多 CFD 玩家喜欢用 double 表示浮点 数。 • 然而 double 是双精度浮点数，会占据 8 字节！虽然精度更高，但是在不需要精度 的图形学应用中，就非常浪费内存带宽。 使用 float ：每个占据 4 字节 • 可以用单精度的 float ，只占据 4 字节。 • 因为这里的循环体是内存瓶颈（ membound ）， 就直接加快了 量化，存储时转换成低精度的定点数，读取时再转换 回高精度的浮点数，从而节省 4 倍内存带宽，提升 GPU 性能。 有没有更小的浮点类型？ • 浮点数在接近 0 的时候精度更高，在一些图形学应用中还是很必要的（比如表示粒子的速 度），定点数就做不到。 • x86 CPU 上最小的浮点类型就是 32 位的 float ，不能更小了。 • 那么有没有不用定点数就能减小浮点数占用空间的存储方式，比如

AOSOA 。 • 缺点是必须保证数量是 1024 的整数倍， 而且因为要两次指标索引，随机访问比较 烦。 • 这里的 1024 并非随意选取，而是要让每 个属性 SOA 数组的大小为一个页 （ 4KB ）才能最高效，原因稍后会说明。 AOSOA ：注意，内部 SOA 的尺寸不宜太小 如果内部 SOA 太小，内部循环只有 16 次连续的读 取， 16 次结束后就会跳跃一段，然后继续连续的 等待数据抵达前空转浪费时间。 页对齐的重要性 • 为什么要 4KB ？原来现在操作系统管理内存是用分页 （ page ），程序的内存是一页一页贴在地址空间中的， 有些地方可能不可访问，或者还没有分配，则把这个页设 为不可用状态，访问他就会出错，进入内核模式。 • 因此硬件出于安全，预取不能跨越页边界，否则可能会触 发不必要的 page fault 。所以我们选用页的大小，因为本 来就不能跨页顺序预取，所以被我们切断掉也无所谓。 来就不能跨页顺序预取，所以被我们切断掉也无所谓。 • 另外，我们可以用 _mm_alloc 申请起始地址对齐到页边 界的一段内存，真正做到每个块内部不出现跨页现象。 手动预取： _mm_prefetch • 对于不得不随机访问很小一块的情况，还可以通过 _mm_prefetch 指令手动预取一个缓存行。 • 这里第一个参数是要预取的地址（最好对齐到缓存 行），第二个参数 _MM_HINT_T0 代表预取数据

部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战：开发 5 分钟，上线 2 小时 服务一：设计 | 代码编写 | 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 • 公共资源 / 业务资源利用率低 赋能多业务：一个平台解决了多异构项目的管理和规范 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 产 品 发 布 、 许 可 和 支 持 的 管 理 产品各版本功能差异 基础版注重工程师体验，专家版保障稳定可靠高效发布；企业版安全发布、数据运营及企业扩展定制 3 Zadig 平台工程模式及 应用场景、架构解析 开发者自服务 • 通过自服务的方式来加快发布速 度，无需与运维持续沟通 降低个人心智负担 • 通过平台工程，将底层的复杂性 抽象化，降低个人心智负担，提 高开发效率 可重用降低运维成本

对下方所有的程序启用（推荐）： 顺便一提， CXX_STANDARD 和 CUDA_ARCHITECTURES 也有 这两种方式，我一般推荐直接设置全局的 CMAKE_CXX_STANDARD 即可应用到全部 add_executable/add_library 的对象上，比较方便。 进一步：核函数调用核函数 • 从 Kelper 架构开始， __global__ 里可以 调用另一个 __global__ (8 + 3 / 4) = 2 。 • 由于向上取整，这样会多出来一些线程， 因此要在 kernel 内判断当前 i 是否超过 了 n ，如果超过就要提前退出，防止越界 。 网格跨步循环：应用于线程和板块一起上的情况 • 网格跨步循环实际上本来是这样，利用扁平 化的线程数量和线程编号实现动态大小。 • 同样，无论调用者指定每个板块多少线程 （ blockDim ），总共多少板块（ 刚刚说过 CUDA 的优势在于对 C++ 的 完全支持。所以 __global__ 修饰的核函 数自然也是可以为模板函数的。 • 调用模板时一样可以用自动参数类型推导 ，如有手动指定的模板参数（单尖括号） 请放在三重尖括号的前面。 进一步：核函数可以接受函子（ functor ），实现函数式编程 • 不过要注意三点： 1. 这里的 Func 不可以是 Func const & ，那样会

解析库 • xlsx2csv - Excel 转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具  支持 Schemaless 写入  支持从 Kafaka, MQTT, OPC, PI System 以及文 件直接导入  数据源导入时，可定义规则引擎 TDengine: 与上下游应用的关系 TDengine = Time-Series Database + Caching + Data Subscription + Stream Processing Shell: Command

编译慢的原因找到了……因为他们用了大量的模板 。 模板的应用：编译期优化案例 • 在右边这个案例中，我们声明了一个 sumto 函数，作用是求出从 1 到 n 所有 数字的和。 • 用一个 debug 参数控制是否输出调试信 息。 • 但是这样 debug 是运行时判断，这样即 使是 debug 为 false 也会浪费 CPU 时 间。 模板的应用：编译期优化案例（续） • 因此可以把 debug 留了调试用的打印语句，后者则完全为性 能优化而可以去掉打印语句。 • 后者其实在编译器看来就是 • if (false) std::cout << ... • 这样显然是会被他自动优化掉的。 模板的应用：编译期分支 • 更进一步，可以用 C++17 的 if constexpr 语法，保证是编译期确定的分支： • （下一讲会深入分析编译器的工作原理） 模板的难题：编译期常量的限制 • const & ） • 同理， auto const & 可以定义常引用： 自动类型推导：函数返回引用 • 当然，函数的返回类型也可以是 auto & 或者 auto const & 。比如懒汉单例模式： 理解右值：即将消失的，不长时间存在于内存中的值 • 引用又称为左值（ l-value ）。左值通常对应着一个长时间存在于内 存中的变量。 • 除了左值之外，还有右值（ r-value