新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 科学技术奖被认为是计算机科学与技术领域最具影响力的专业奖项之一，

Rust 在操作系统，数据库，各种框架和工具上应用范围 广 写作动机 当情况不明时，抱着一个纯粹的目标干事就行了，其他 的留给时间检验。不懂就学，技术写作更像一种共创， 要反复总结和修改 ( 费曼学习法 ) 。 写作本书给我的启示 基础、排序、查找、树、图 代码框、颜色、图片绘制均由 Latex 完成 可参考点 为什么 为什么讲这个话题？ 为什么要讲数据结构和算法两部分？ 算法相关知识 抽象数据类型 什么是抽象数据类型？ 为什么需要抽象数据类型？ 时空复杂度 • 时间复杂度更被看重 • 时间和空间复杂度不是对立的，可以协同 时间和空间复杂度 复杂度计算 • 大Ｏ标记法（数量级近似） • 用 AI 来估计 算步骤、算存储 Rust 基本数据结构复杂度 线性数据结构 非线性数据结构 总体来看，时间复杂度没有超过 O(n) 的！ Rust 实现数据结构 • 栈 • 链表 字典树 • 图 Rust 实现算 法 蒂姆排序 什么是蒂姆排序？ 蒂姆排序 位运算 高低位排序区别处理 https://github.com/QMHTMY/RustBook/blob/main/publication/code/chapter07/tim_sort_without_gallop.rs 字典树 怎么确定单词结束？ 需要区分大小写吗？ 图 如何定义点、边、图？ 图

不过，这个功能同样需要开启 CUDA_SEPARABLE_COMPILATION 。 第 2 章：内存管理 如何从核函数里返回数据？ • 我们试着把 kernel 的返回类型声明为 int ，试 图从 GPU 返回数据到 CPU 。 • 但发现这样做会在编译期出错，为什么？ • 刚刚说了 kernel 的调用是异步的，返回的时候 ，并不会实际让 GPU 把核函数执行完毕，必须 cudaDeviceSynchronize() 算的是否准确无误，从右边的输出 可以看到基本是一致的。 测试一下时间 • 使用第六节课中的 ticktock.h 测试一下 CPU 和 GPU 的用时。 • 注意，这里一定要把 TOCK 放到同步之 后。原因之前说过，因为对 GPU 核函数 的调用是异步的，只有 cudaDeviceSynchronize() 以后才真正完 成执行，才能算出真的时间。 • 查看结果，发现 GPU 比 CPU 快了很多 html#math-libraries 稍微快一些，但不完全精确的 __sinf • 两个下划线的 __sinf 是 GPU intrinstics ，精度相当于 GLSL 里的那种。 适合对精度要求不高，但有性能要求的图 形学任务。 • 类似的这样的低精度內建函数还有 __expf 、 __logf 、 __cosf 、 __powf 等。 • 还有 __fdividef(x, y) 提供更快的浮点除法 ，和一般的除法有相同的精确度，但是在

memory- bound ）。 • 右边就是一个很好的例子。 使用 int64_t ：每个占据 8 字节 • 如果用更大的数据类型，用时会直接提升两倍！ • 这是因为 i % 2 的计算时间，完全隐藏在内存 的超高延迟里了。 • 可见，当数据量足够大，计算量却不多时，读写 数据量的大小唯一决定着你的性能。 • 特别是并行以后，计算量可以被并行加速，而访 存却不行。 使用 int8_t 加上去没有任何变化），是因为 第一个数太大了，要表示 1234000.01 需要 9 位有效位数。 • 而单精度浮点数 float 的底数有 23 位，指数有 8 位（图 1 ）。 • 双精度浮点数 float 的底数有 52 位，指数有 11 位（图 2 ）。 double: float: http://c.biancheng.net/view/314.html 以求最大值为案例 用定点数来表示 Taichi 也支持量化存储了 • https://yuanming.taichi.graphics/publication/2021-quantaichi/quantaichi.pdf 小彭老师第一时间赶到现场锐评 • https://yuanming.taichi.graphics/publication/2021-quantaichi/quantaichi.pdf ← ？？？ 第 7 章：

RAII…… 第 0 章：时间 C 语言如何处理时间： time.h • long t0 = time(NULL); // 获取从 1970 年 1 月 1 日到当前时经过的秒数 • sleep(3); // 让程序休眠 3 秒 • long t1 = t0 + 3; // 当前时间的三秒后 • usleep(3000000); API ，没有类型区分，导致很容易弄错单位，混淆时间点和时间段。 • 比如 t0 * 3 ，乘法对时间点而言根本是个无意义的计算，然而 C 语言把他们看做一样的 long 类型，从而容易让程序员犯错。 C++11 引入的时间标准库： std::chrono • 利用 C++ 强类型的特点，明确区分时间点与时间段，明确区分不同的时间单位。 • 时间点例子： 2022 年 1 月 8 日 13 点 07 分 10 秒 • 时间段例子： 1 分 30 秒 • 时间点类型： chrono::steady_clock::time_point 等 • 时间段类型： chrono::milliseconds ， chrono::seconds ， chrono::minutes 等 • 方便的运算符重载：时间点 + 时间段 = 时间点，时间点 - 时间点 = 时间段 • auto t0 =

异步并发框架是许多大型应用、系统具备的底层能力。 区别于多线程编程模型，它带来以下优势：  任务调度颗粒度更小，充分利用线程资源  更可控的线程数  单个任务资源占用：几十 KB -> 几百 Byte  任务切换时间 : 10 微秒 -> 100 纳秒 Rust 语言并没有提供异步并发框架， 只提供异步所需的基本特性：  Future  async / await  Waker asyn c Future 现有框架无法完美适配移动端（一） Core Thread Thread Worker Worker task task Local queue Local queue Tokio 采用了如右图这种 GMP 模式： • 一核可以绑定多线程，每个线程拥有一个 Worker ，每个 Worker 拥有一个任务队列 • 但线程拥有相同优先级 • Worker 只持有一个本地 FIFO 队列 移动端诉求：优先级 的权重是 2048 。那么 A 获得 CPU 的时间比例是 1024/ (1024 + 2048) = 33.3% Task priority and quality of service 任务优先级调度 对框架内的工作线程设置优先级，使其 拥有不同权重。 • 由 Kernel 决定调度时间 • 高优先级任务由高权重线程调度， 以此获得更多执行时间 • 全局队列区分高低优先级 Task priority

4 核且矢量化成功： 1 次浮点读写 ≈ 128 次浮点加 法 常见操作所花费的时间 • 图中加法 (add) 和乘法 (mul) 都指的整数。 • 区别是浮点的乘法和加法基本是一样速度。 • L1/2/3 read 和 Main RAM read 的时间指的是 读一个缓存行（ 64 字节）所花费的时间。 • 根据计算： 125/64*4≈8 • 即从主内存读取一次 float 花费 不得不同时维护很多条预取赛道（ mc_x, mc_y, mc_z ），当赛 道多了以后每一条赛道的长度就变短了，从而能够周转的余地时间比较少，不利于延迟隐藏。 而如果把这三条赛道合并成一条（ mc ），这样同样的经费（缓存容量）能铺出的赛道（预 取）就更长，从而 CPU 有更长的周转时间来隐藏他内部计算的延迟。所以本案例中 AOS 比 SOA 好。 AOS 、 SOA 、 AOSOA 哪家强：结论 • ，避免等待数据的 时候 CPU 空转浪费时间。 • 这种策略称之为预取（ prefetch ），由硬件自动识别你程序的访存规律 ，决定要预取的地址。一般来说只有线性的地址访问规律（包括顺序、 逆序；连续、跨步）能被识别出来，而如果你的访存是随机的，那就没 办法预测。遇到这种突如其来的访存时， CPU 不得不空转等待数据的抵 达才能继续工作，浪费了时间。 解决：按更大的分块（ 4096 字节）随机访问

时要如何在周围 8 个值之间插值，有以下几种选择： • cudaFilterModeLinear ：三线性插值更平滑（左图） • cudaFilterModePoint ：最接近的那个点作为值（右 图） 烟雾仿真系统：封装 • 我们统一通过 unique_ptr 来管理对象，这样尽管 CudaSurface 对象是不可 移动的，我们仍可以通过移 动其指针的方式来实现双缓 冲（ std::swap clrNext 的同时读取 clr 没有冲突，写入完毕后对调 clrNext 和 clr 。 投影部分 投影部分 • 我们要模拟的流体是不可压缩的，因此有着无散度的特点： div v = 0 • 上式对时间求导，即 d(div v)/dt = div dv/dt = 0 ；带入 dv/dt = -p 得 div grad p = 0 。 • 因此为了模拟不可压缩流我们要求保证 p 满足 div grad Blender 渲染结果 改进 改进边界条件：外部边界流出而不是反弹，内部边界可以流出速度 Blender 中调整一下材质 Blender 中调整一下材质 改进对流：让烟雾随时间逐渐褪色 改进对流：让烟雾随时间逐渐褪色 改进褪色：不是褪色 density ，而是褪色 temperature 改进褪色：不是褪色 density ，而是褪色 temperature 改进褪色：不是单纯地乘以

自动类型推导：函数返回引用 • 当然，函数的返回类型也可以是 auto & 或者 auto const & 。比如懒汉单例模式： 理解右值：即将消失的，不长时间存在于内存中的值 • 引用又称为左值（ l-value ）。左值通常对应着一个长时间存在于内 存中的变量。 • 除了左值之外，还有右值（ r-value ）。右值通常是一个表达式，代 表计算过程中临时生成的中间变量。因此有的教材又称之为消亡引用 带 auto 参数的 lambda 表达式，和模板 函数一样，同样会有惰性、多次编译的特 性。 C++20 前瞻：函数也可以 auto ， lambda 也可以 • 如右图，两者的用法可以互换，更方便了 。 • 老师也欢迎同学们在作业中尝试 C++20 新特性，如果你们有相应的编译环境的话 。 • auto wrap(auto f) { • return

Go 外文图书 读书方法 精读 • 选择高质量图书 • 脑图 + 细节摘录 + 行动清单（输出） 泛读 • 闲书 ( 不烧脑 ) • 碎片化（快读） + 听书 小结 第四部分 小结 • 写书三要素 • Go 精进之路导读：思维先行，践行哲学，遵循惯例，认清本 质，理解原理 • 读书：选高质量图书精读 ( 脑图 + 细节摘录 + 行动清单） 谢谢