Await-Tree Async Rust 可观测性的灵丹妙药 赵梓淇 Bugen Zhao Await-Tree Async Rust 可观测性的灵丹妙药 Await-Tree 的 设计原理与实现 2 回顾 Async Rust 的设计与痛点 1 Await-Tree 的 应用与真实案例 3 Await-Tree Async Rust 可观测性的灵丹妙药 Await-Tree 的 设计原理与实现 poll 驱动的状态机 • 组合嵌套为调度单元： Task • async fn 语法糖 Async Rust 观测与调试的痛点 Async Rust 回顾 • 特性： Future 灵活的可组合性 • 任意定制 Poll 的执行逻辑 (Join / Select / Timeout) • 动态的调用关系 • 痛点：观测与调试工具无法理解灵活的执行逻辑 • Backtrace 不够直观 ( 痛点：观测与调试工具无法还原 Pending Task 的执行状态 • 难以得知 Task 阻塞的位置和原因 • 难以调试 Async Stuck • ? 如何解决？ Await-Tree Async Rust 可观测性的灵丹妙药 Await-Tree 的 设计原理与实现 2 回顾 Async Rust 的设计与痛点 1 Await-Tree 的 应用与真实案例 3 设计目标 Await Tree 的设计原理与实现

看比站 15 分钟 眼睛 吃饭 30 分钟 嘴巴，手 拉粑粑 20 分钟 屁股 洗脸 烧开水 刷牙 看比站 吃饭 拉粑粑 5 10 5 15 30 20 为什么需要流水线 • 更高效的办法是，观察每个任务都占用哪些 资源，所占用资源不冲突的可以同时进行， 节省时间。 • 例如洗脸需要眼睛嘴巴手，刷牙需要嘴巴手 ，那么洗脸和刷牙不能同时进行。但是烧开 水只需要占用煤气灶，和洗脸刷牙不冲突， 时是需要连续两次条件跳转指令的。 但是在 -O3 的淫威下，编译器把其中一个条件跳转自动优化掉了（ cmovle 和 cmovl ）。 可惜另一个 if-else 的条件跳转指令（ js ）没有被成功优化掉（编译器具有短视性）。 可以看到“摆烂”版本的三目运算符 ?: 和 if-else 其实是一样的，也只优化掉了其中一个条件跳转。 但是在“妙用加减乘”的版本里，两次比较依然都是高效的无分支指令（ setg 和 cmovbe 交给编译器自动优化掉。 • 一般只需要把 if-else 改成三目运算符 ?: 编 译器就能成功识别了（见开头的例子）。 • 建议只有当性能遇到瓶颈时，再去针对性对 “热代码”优化，而不是一股脑儿全部改成无分 支，影响可读性。 “ 妙用加减乘”的无分支优化是万能的吗？ • return x >= 0 ? sqrt(x) : 0; • 能不能优化成： • return (x >= 0)

2048 MB 的数据。 • 花费了 0.0656 秒。 • 因此带宽是 31198 MB/s 。 • 和理论带宽 42672 MB/s 相差不多，符合我的预期 。 第 2 章：缓存与局域性 针对不同数据量大小的带宽测试 • 我们试试看 a 不同的大小，对带宽有什么影响。 针对不同数据量大小的带宽测试（续） • 可见数据量较小时，实际带宽甚至超过了 理论带宽极限 42672 MB/s 跨步，则中间的缓存行没有被读取，从而变快了。 缓存行决定数据的粒度 • 结论：访问内存的用时，和访问的字节数 量无关，和访问的每个字节所在的缓存行 数量有关。 • 可见，能否很好的利用缓存，和程序访问 内存的空间局域性有关。 缓存行决定数据的粒度（续） • 所以我们设计数据结构时，应该把数据存 储的尽可能紧凑，不要松散排列。最好每 个缓存行里要么有数据，要么没数据，避 免读取缓存行时浪费一部分空间没用。 4KB 那么大，即 64 个缓存行，而不是一个。 • 这样一次随机访问之后会伴随着 64 次顺序访问， 能被 CPU 检测到，从而启动缓存行预取，避免了 等待数据抵达前空转浪费时间。 页对齐的重要性 • 为什么要 4KB ？原来现在操作系统管理内存是用分页 （ page ），程序的内存是一页一页贴在地址空间中的， 有些地方可能不可访问，或者还没有分配，则把这个页设 为不可用状态，访问他就会出错，进入内核模式。

的芯片？ • 结论：狭义的摩尔定律没有失效。但晶体管数 量的增加，不再用于继续提升单核频率，转而 用于增加核心数量。单核性能不再指数增长！ 你醒啦？免费午餐结束了！ 指望靠单核性能的增长带来程序性 能提升的时代一去不复返了，现在 要我们动动手为多核优化一下老的 程序，才能搭上摩尔定律的顺风车 。 神话与现实： 2 * 3GHz < 6GHz • 一个由双核组成的 3GHz 的 CPU 实际上提供了 显然不是。甚至在两个处理器上同时运行两个线程也不见得可以获得两倍的性能。相似的 ，大多数多线程的应用不会比双核处理器的两倍快。他们应该比单核处理器运行的快，但 是性能毕竟不是线性增长。 • 为什么无法做到呢？首先，为了保证缓存一致性以及其他握手协议需要运行时间开销。在 今天，双核或者四核机器在多线程应用方面，其性能不见得的是单核机器的两倍或者四倍。 这一问题一直伴随 CPU 发展至今。 并发和并行的区别 • 运用多线程的方式和动机，一般分为两种。 push_back 进去的元素，扩容时不需要移动 位置，从而指针和迭代器不会失效。 • 同时他的 push_back 会额外返回一个迭代 器（ iterator ），指向刚刚插入的对象。 grow_by 一次性扩容一定大小 • push_back 一次只能推入一个元素。 • 而 grow_by(n) 则可以一次扩充 n 个元素。 他同样是返回一个迭代器（ iterator ），之 后可以通过迭代器的

出现一方等着对方的同时持有了对方等着 的锁的情况。 解决 3 ：用 std::lock 同时对多个上锁 • 如果没办法保证上锁顺序一致，可以用标 准库的 std::lock(mtx1, mtx2, ...) 函数，一 次性对多个 mutex 上锁。 • 他接受任意多个 mutex 作为参数，并且 他保证在无论任意线程中调用的顺序是否 相同，都不会产生死锁问题。 std::lock 的 RAII 版本： std::scoped_lock 时自动调用 unlock_shared() ，更加安全 了。 • shared_lock 同样支持 defer_lock 做参数 ， owns_lock() 判断等，同学们自己研究 。 只需一次性上锁，且符合 RAII 思想：访问者模式 Accessor 或者说 Viewer 模式，王鑫磊常用于设计 GPU 容器 OpenVDB 数据结构的访问，也是采用了 Accessor 的设计…… 并且还有 • 不过要注意了，这种写法： • counter = counter + 1; // 错，不能保证原子性 • counter += 1; // OK ，能保证原子性 • counter++; // OK ，能保证原子性 fetch_add ：和 += 等价 • 除了用方便的运算符重载之外，还可以直 接调用相应的函数名，比如：

引用同一个头文件造成冲突，并不是必须 static 才内 联 如果你不确定某修改是否能提升性能，那你最好实际测一下，不要脑内模拟 inline 在现代 C++ 中有其他含义，但和内联没有关系，他是一个迷惑性的名字 “ 大厂面试官”笑话 • 同样沦为笑柄的还有 register 关键字，号称：可以让一个变量使用寄存器存储，更高效。 • 都能把等差数列求和优化成 5050 的编译器笑着看着你，说道：还要你提醒吗？ 如果优化了： b = b; 最后 b 没有改变。 导致优化后结果不一样，这就是 编译器放弃优化的原因。 告诉编译器别怕指针别名： __restrict 关键字 __restrict 是一个提示性的关键字，是程序员向 编译器保证：这些指针之间不会发生重叠！ 从而他可以放心地优化成功： __restrict 关键字：只需加在非 const 的即可 实际上， __restrict 只需要加在所有具有写入 以他用了。不过注意这样编译出的程序，可能 放到别人不支持 AVX 的电脑上没法运行。 数组清零：自动调用标准库的 memset memcpy 同理，不必为了高效，手动改 写成对 memcpy/memset 的调用，影响 可读性。编译器会自动分析你是在做拷贝 或是清零，并优化成对标准库这俩的调用 。 从 0 到 1024 填充： SIMD 加速 paddd ：四个 int 的加法 movdqa ：加载四个 int 从 0

模板的应用：编译期优化案例（续） • 因此可以把 debug 改成模板参数，这样 就是编译期常量。编译器会生成两份函数 sumto 和 sumto 。前者保 留了调试用的打印语句，后者则完全为性 能优化而可以去掉打印语句。 • 后者其实在编译器看来就是 • if (false) std::cout << ... • 这样显然是会被他自动优化掉的。 模板的应用：编译期分支 • 更进一步，可以用 T> 等价。 • auto const & 也是同理，等价于模板函数 的 T const & 。 • 带 auto 参数的 lambda 表达式，和模板 函数一样，同样会有惰性、多次编译的特 性。 C++20 前瞻：函数也可以 auto ， lambda 也可以 • 如右图，两者的用法可以互换，更方便了 。 • 老师也欢迎同学们在作业中尝试 C++20 新特性，如果你们有相应的编译环境的话

int{3.14f} 会出错，因为 {} 是非强制转换。 2. Pig(“ 佩奇” , 3.14f) 不会出错，但是 Pig{“ 佩奇” , 3.14f} 会出错，原因同上，更安全。 3. 可读性： Pig(1, 2) 则 Pig 有可能是个函数， Pig{1, 2} 看起来更明确。 • 其实谷歌在其 Code Style 中也明确提出别再通过 () 调用构造函数，需要类型转换时应该 用： 等基础类型 2. void *, Object * 等指针类型 3. 完全由这些类型组成的类 • 这些类型被称为 POD （ plain-old-data ）。 • POD 的存在是出于兼容性和性能的考虑。 << 取决于内存的随机值 编译器默认生成的构造函数：无参数（ POD 陷阱解决方案） • 不过我们可以手动指定初始化 weight 为 0 。 • 通过 {} 语法指定的初始化值，会在编译器自

g-truc/glm - 模仿 GLSL 语法的数学矢量 / 矩阵库（附带一些常用函数，随机数生成等） 4. Tencent/rapidjson - 单纯的 JSON 库，甚至没依赖 STL （可定制性高，工程美学经典） 5. ericniebler/range-v3 - C++20 ranges 库就是受到他启发（完全是头文件组成） 6. fmtlib/fmt - 格式化库，提供 std::format