新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 专注于数据智能技术赋能中国数字经济发展 海致高性能图计算院士专家工作站 郑纬民 - 海致科技首席科学家 中国工程院院士、清华大学计算机科学与技术系教 授、中国计算机学会前理事长，中国计算机系统结构 的学科带头人，我国高性能计算和存储系统等方面的 泰斗和先行者。 2021 年 3 月 25 日，海致科技与清华大学计算机科学与技术系共同建设高性能图计算院士专家工作站 。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 科学技术奖被认为是计算机科学与技术领域最具影响力的专业奖项之一，

第二部分 整体写作思路 异曲同工 精进之路，思维先行 – part1 践行哲学，遵循惯例，认清本质，理解原理 - (part2- part10) 精进之路，思维先行 异曲同工 “ 语言决定思维方式” - 萨丕尔假说 “ 我的语言之局限，即我的世界之局限” - 路德维 希 · 维特根斯坦（语言哲学奠基人） “ 不能改变你思维方式的语言，不值得学习” - Alan Perlis Perlis ( 首届图灵奖得主 ) Part1 - 进入 Go 语言编程思维导引 站在语言设计者的高度理解 Go 的与众不同 Go 诞生 与演进 Go 设计哲 学 Go 编程思 维举例 怎么学习 Go 思维？ 学习本质是一种模仿。要学习 Go 思维，就要 去模仿 go 团队、 go 社区的优秀项目和代 码，看看他们怎么做的 践行哲学，遵循惯例，认清本质，理解原理 Part2 – 项目基础：布局、代码风格与命名 Go 外文图书 读书方法 精读 • 选择高质量图书 • 脑图 + 细节摘录 + 行动清单（输出） 泛读 • 闲书 ( 不烧脑 ) • 碎片化（快读） + 听书 小结 第四部分 小结 • 写书三要素 • Go 精进之路导读：思维先行，践行哲学，遵循惯例，认清本 质，理解原理 • 读书：选高质量图书精读 ( 脑图 + 细节摘录 + 行动清单） 谢谢

里的板块数和线程数可以动态指定，无需 先传回到 CPU 再进行调用，这是 CUDA 特有的能力。 常用于这种情况：需要从 GPU 端动态计算出 blockDim 和 gridDim ，而又不希望导回数据到 CPU 导致强制同步影响性能。 这种模式被称为动态并行（ dynamic parallelism ）， OpenGL 有一 个 glDispatchComputeIndirect 的 API 不过，这个功能同样需要开启 CUDA_SEPARABLE_COMPILATION 。 第 2 章：内存管理 如何从核函数里返回数据？ • 我们试着把 kernel 的返回类型声明为 int ，试 图从 GPU 返回数据到 CPU 。 • 但发现这样做会在编译期出错，为什么？ • 刚刚说了 kernel 的调用是异步的，返回的时候 ，并不会实际让 GPU 把核函数执行完毕，必须 cudaDeviceSynchronize() html#math-libraries 稍微快一些，但不完全精确的 __sinf • 两个下划线的 __sinf 是 GPU intrinstics ，精度相当于 GLSL 里的那种。 适合对精度要求不高，但有性能要求的图 形学任务。 • 类似的这样的低精度內建函数还有 __expf 、 __logf 、 __cosf 、 __powf 等。 • 还有 __fdividef(x, y) 提供更快的浮点除法 ，和一般的除法有相同的精确度，但是在

，但是 实际上还是 YX 序，和静态数组 的 a[y][x] 一样的，指标出现的顺 序并无关紧要。 …… ndarray ：访问越界问题 • 在物理仿真中，常常需要访问在一个元素附近的几个元素。图 像处理中用到的模糊操作，也需要向上下左右扩散 w 个单位。 • 这样假如当前元素正好在二维网格的边界上，那再往外索引 w 个单位就会超出数组的界限，导致出错。对此有多种解决办法 ： 1. 使用 记得小彭老师说过，性能优化讲究组合拳，光看一 个改动有没有提升是不科学的。 • 所以我们再尝试配合一下其他优化手段，看看有没 有效果吧。 使用预取指令 • 反而更加慢了？ • 可能是因为写入了 b 污染了一级缓存，导 致预取效果不好，我们用直写指令试试看 。 使用直写指令 • 反而更加更加慢了？ • 可能是因为直写的时间点过于分散了，因 为中间还夹杂着加法的运算，导致写入挂 起队列指令太长， CPU

而不会认为小彭老师真的在吃答辩。 • 小彭老师说“我在拉答辩。”那么同学认为这个答辩指的是答辩（物理），小彭老师在上厕所。 而不会认为小彭老师在制作三体动画。 • 所以这位同学是人类思维，相当于 Python 的精分 API 。而如果另一个同学是硬核的计算 机思维，相当于 C++ 的一视同仁 API ，他会以为小彭老师真的在吃答辩。 • 这是通常来说，不过万一小彭老师真的这么重口味在吃答辩呢？要怎么传达这个信息？ C++

x 的指针。 • 因为数组的每个元素都是一个变量， &a[0] 表 示数组 a 第 0 个元素的地址。 指向数组其中一个元素的指针 • 同理， &a[1] 就是第 1 个元素（按照人类的 思维是第二个元素）的地址。 修改指针指向的地址，使其加 1 ，会怎么样？ • 刚才说过，数组中元素在内存中是连续排列的 。 • 因此，第 0 个元素的地址加 1 ，就可以得到 第 1 个元素的地址！ 摆明了这就是个指针，避免混淆。 • 如果你真需要传入一个数组而不是数组的首 地址指针，用 C++ 的 std::array 。 • 这是按值传递的，里面的修改不会变化外面 的值，符号小白程序员的思维，避免 C 语 言指针和数组的那些难以理解的坑。 字符串的本质究竟是什么？ ASCII 字符对照表：把字符对应到 0~127 的整数，方便用计算机存储 • 为了让计算机也能够处理字符，英文使用

度，无需与运维持续沟通 降低个人心智负担 • 通过平台工程，将底层的复杂性 抽象化，降低个人心智负担，提 高开发效率 可重用降低运维成本 • 一些组织可能过度依赖高级工程 师管理发布流程和基础设施，导 致资源浪费和效率低下 Zadig 平台工程模式 工程规模数据： • 1500+ 产研工程师 Vs. 2 人运维 • 50 + 个 Kubernetes 全球集群 • 300+ 交付、推广和运营挑战，在这出海挑战中，早期路特斯的软件交付流程 是基于 Jenkins 流水线设计的， Jenkins 的部署与数据中心一一对应。由于路特斯使用的是混合云，且数据中心遍布海外，导 致 Jenkins 数量庞大，随着业务扩张，早期架构难以适应快速变化，大量重复的事务性工作使得运维的人力捉襟见肘。 Zadig 的引入助力解决了这些挑战，推动了研发交付的数字化转型。 选择

专 注 在 云 原 生 C I / C D 、 D e v O p s 、 平 台 工 程 架 构 等 大 规 模 软 件 研 发 的 基 础 工 程 领 域 的 研 究 和 应 用 。 主 导 研 发 的 Z a d i g 开 源 D e v O p s 软 件 工 程 平 台 已 被 2 0 0 0 多 家 企 业 广 泛 使 用 ， 包 括 字 节 跳 动 飞 书 、 极

写作动机 当情况不明时，抱着一个纯粹的目标干事就行了，其他 的留给时间检验。不懂就学，技术写作更像一种共创， 要反复总结和修改 ( 费曼学习法 ) 。 写作本书给我的启示 基础、排序、查找、树、图 代码框、颜色、图片绘制均由 Latex 完成 可参考点 为什么 为什么讲这个话题？ 为什么要讲数据结构和算法两部分？ 算法相关知识 算法相关知识 • 抽象数据类型 • 时空复杂度 • 字典树 • 图 Rust 实现算 法 蒂姆排序 什么是蒂姆排序？ 蒂姆排序 位运算 高低位排序区别处理 https://github.com/QMHTMY/RustBook/blob/main/publication/code/chapter07/tim_sort_without_gallop.rs 字典树 怎么确定单词结束？ 需要区分大小写吗？ 图 如何定义点、边、图？ 图 图 点和边操作注意事项 图 联想：图数据结构的的点、边、面似乎满足欧拉公式 : V – E + F = 2 、则时间复杂度为： O(V+E) = O(2E – F + 2) • V = 14; E = 18; F = 5 + 1; • V+E = 32 • 2E – F + 2 = 32 总结及学习资源 • 算法总结 • 学习资源 总结及学习资源 Rust 算法总结

模板函数？未免有些差强人意 • 索性把 eatTwice 声明为模板函数的确能解决问题，但模板函数不是面向对象的思路，并 且如果 cat 和 dog 是在一个 IObject 的指针里就会编译出错，例如右图的 vector （这是游戏引擎中很常见的用法）。 正确解法：额外定义一个 clone 作为纯虚函数，然后让猫和狗分别实现他 clone 的调用 • 这样一来，我们通用的 并且即使多个线程同时调用了 func ，这个变量的 初始化依然保证是原子的（ C++11 起）。 • 这就是函数静态初始化 (func-static-init) 大法。 函数静态初始化可用于“懒汉单例模式” • 如右图。 • getMyClassInstance() 会在第一次调用时创 建 MyClass 对象，并返回指向他的引用。 • 根据 C++ 函数静态变量初始化的规则，之后 的调用不会再重复创建。