新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

C++ 标准库系列课 - 你所不知道的 set 容 器 by 小彭老师（ @archibate ） 课件 & 代码： https://github.com/parallel101/course 上期回顾： https://www.bilibili.com/video/BV1qF411T7sd 课程安排 1. vector 容器初体验 & 迭代器入门 (BV1qF411T7sd) 2. 你所不知道的 拟出来的 + n 复杂度为 O(n) 。虽然低效，但至少可 以用了。 std::next 等价于 + • 但是这样手写三个 ++ 太麻烦了 ，而且是就地操作，会改变迭代 器本身。 • 因此标准库提供了 std::next 函 数，他的内部实现相当于这样： • 没错，他会自动判断迭代器是否 支持 + 运算，如果不支持，会 改为比较低效的调用 n 次 ++ 。 std::advance 等价于 • 如果找不到，则返回 end() 迭代器。 • 刚刚说过， end() 指向的是 set 的尾部 再之后一格元素，他指向的是一个不存在 的地址，不可能有任何元素在那里！因此 end() 常被标准库用作一个标记，来表示 找不到的情况。 Python 中的 find 找不 到元素时会返回 -1 来表示，也是这个思 想。 • iterator find(int const &val) const;

图像。总共只花了 1 分钟。 图形学爱好者：我看中的是多核，目的是加速比，如果是单核，那多线程对我无用！ 某互联网公司：我看中的是异步，目的是无阻塞，即使是单核，多线程对我也有用。 因特尔开源的并行编程库： TBB https://link.springer.com/chapter/10.1007%2F978-1-4842-4398-5_2 安装 TBB • Ubuntu: • sudo apt-get article/details/111681426 详见 https://www.bilibili.com/video/BV1fa411r7zp 的 1:18:48 上一课的案例代码：基于标准库 基于 TBB 的版本：任务组 • 用一个任务组 tbb::task_group 启动多个 任务，一个负责下载，一个负责和用户交 互。并在主线程中等待该任务组里的任务 全部执行完毕。 • 区别在于，一个任务不一定对应一个线程 区别在于，一个任务不一定对应一个线程 ，如果任务数量超过 CPU 最大的线程数， 会由 TBB 在用户层负责调度任务运行在 多个预先分配好的线程，而不是由操作系 统负责调度线程运行在多个物理核心。 封装好了： parallel_invoke 更好的例子 第 1 章：并行循环 时间复杂度（ time-efficiency ）与工作量复杂度（ work-efficiency ） • 在“小学二

](https://git-scm.com/doc) - [GitHub 官方文档 ](https://docs.github.com/en) 古代： C 语言 近代： C++98 引入 STL 容器库 近现代： C++11 引入了 {} 初始化表达式 近现代： C++11 引入了 range-based for-loop 如果想使用 for_each 这个算法模板呢？ 我知道可以用 accumulate ）和生成器（ generator ） 未来： C++20 标准库加入 format 支持 跑远了！ • 鉴于 C++20 还没有普遍落地（例如 CMake 不支持 C++20 modules ）因此我们的课程 基于 C++17 标准，有时会谈到 C++20 作为扩展阅读。 C++ 有哪些面向对象思想？ C++ 思想：封装 比如要表达一个数组，需要：起始地址指针 v ，数组大小 nv 将多个逻辑上相关的变量包装成一个类 将他俩打包起来，避免程序员犯错 封装：不变性 比如当我要设置数组大小为 4 时，不能只 nv = 4 还要重新分配数组内存，从而修改数组起始地址 v 常遇到：当需要修改一个成员时，其他也成员需要被修改，否则出错 这种情况出现时，就意味着你需要把成员变量的读写封装为成员函数 不变性：请勿滥用封装 • 仅当出现“修改一个成员时，其他也成员要 被修改，否则出错”的现象时，才需要 getter/setter 封装。 •

https://github.com/parallel101/course C++ 标准库五大件：容器（ container ） C++ 标准库五大件：迭代器（ iterator ） C++ 标准库五大件：算法（ algorithm ） C++ 标准库五大件：仿函数（ functor ） C++ 标准库五大件：分配器（ allocator ） 侯捷 STL 侯捷 STL vector capacity() const noexcept; vector 容器： resize 的优化策略 • 注意这里 resize(7) 之后容量实际上扩充到了 10 而不是刚好 7 ，为什么 ？ • 因为标准库的设计者非常聪明，他料想到了你 resize(7) 以后可能还会来 个 resize(8) 甚至 resize(9) 之类的。为了减少重复分配的次数，他有一 个策略：当 resize 后的新尺寸变化较小时，则自动扩容至原尺寸的两倍 组大小（很多同学都号称自己实现过 vector ，都是这种 写法），那么如果要用 push_back 推入 n 个元素，就 需要重新分配内存 n 次，移动元素 n(n+1)/2 次。 • 而像标准库这样允许数组大小和实际容量不同，这样 push_back 在容量不足的时候就可以一次性扩容两倍， 只需重新分配 logn 次，移动元素 2n-1 次。 vector 容器： push_back

这里的解构函数也是多态的，他根据类型的不同 调用不同派生类的解构函数。 多态用于设计模式之“模板模式” • 这样之后如果有一个任务是要基于 eatFood 做文章，比如要重复 eatFood 两遍。 • 就可以封装到一个函数 eatTwice 里，这个函数只需接受他们共同的基类 IObject 作为参数，然后调 用 eatFood 这个虚函数来做事（而不是直接操作具体的猫和狗本身）。 • 这样只需要写一遍 思考：能不能把拷贝构造函数也作为虚函数？ • 现在我们的需求有变，不是去对同一个对象调用两次 eatTwice ，而是先把对象复制一份 拷贝，然后对对象本身和他的拷贝都调用一次 eatFood 虚函数。 • 代码如下，这要怎么个封装法呢？你可能会想，是不是可以把拷贝构造函数也声明为虚函 数，这样就能实现了拷贝的多态？不行，因为 C++ 规定“构造函数不能是虚函数”。 模板函数？未免有些差强人意 • 索性把 eatTwice this 指针所指向的类型，也就是当前所在类的类型 。 • 宏的缺点是他不遵守命名空间的规则，宏的名 字是全局可见的，不符合 C++ 的高大尚封装思 想。 • 宏： IOBJECT_DEFINE_CLONE • 高大尚 C++ 封装： zeno::IObject::clone() 如何批量定义 clone 函数？ • 另一种方法是定义一个 IObjectClone 模板 类。其模板参数是他的派生类

hash().pointer(11).dense(8) 。 封装起来，方便多层解耦 封装起来，方便多层解耦 封装起来，方便多层解耦 封装起来，方便多层解耦 封装起来，方便多层解耦 • 这样就封装好了，通过模板的方式实现了 自定义的稀疏数据结构： • hash().pointer(11).dense(8) 开源的体素处理库： OpenVDB • OpenVDB 的稀疏体积，可以存储符号距 bits |= 1 << n; • 可以设置 bits 的第 n 位为 1 。 • bits |= 0 << n; • 则没有任何改变。 std::vector ：标准库帮你实现好了 • 其实标准库的 vector 是一个特化的版本 ，他会自动像刚刚说的把值看做 1bit ，然后八个 合并成一个 int8_t 。 • 不过效率比我们手写的低很多…… 不推荐使用 对象，而且效率很低。 • 如果配合用 decltype 和 auto 的话，他们不会正确推导出 bool ，影响我们正常使用模板元编 程。 • 一般认为 vector 是 C++ 标准库设计上的一个败笔，是为了向前兼容才保持这样不变的 。 • 他们就不应该直接特化 vector 而是哪怕搞另一个名字，比如 std::bit_vector 之类的都好 。 • 包括他的

就像你和同学随手“拉钩”定下的约定，这是 printf 约定俗成的。 • \ 就像正式合同，有法律效力的，这是 C 语言编译器规定好的。 C++ 字符串类 第 3 章 C 语言字符串操作繁琐 封装的 std::string 应运而生 封装的 std::string 应运而生 • string 可以从 const char * 隐式构造： • string s = “hello”; • string 具有 + 、 类型的，他们没有 + 运算 符。 • C++ 为了向前兼容，没办法改变 C 语言的这项规定，只能退而求其次，他另 外定义了一个 string 类，重载了 + 运算符，并告诉同学们：以后尽量用我这 个封装好的类，不要直接用 C 语言的 const char * 。 • 因此如果需要把两个字符串加在一起，就必须至少有一方是 string 才行。 • 可以用 string(“hello”) 这种形式包裹住每个字符串常量，这样就方便用 正确： C++14 新特性：自定义字面量后缀 • 不少同学就觉得这样好麻烦，其他语言都是直接 “ hello” 就是字符串类 型， C++ 还得套一层壳 string(“hello”) 才能变成安全封装的类型，才能用他 的成员函数。 • 因此， C++14 引入了一项缓解“键盘压力”的新特性： • 写 “ hello”_s 就相当于写 operator“”_s(“hello”, 5) ，就相当于

，没有类型区分，导致很容易弄错单位，混淆时间点和时间段。 • 比如 t0 * 3 ，乘法对时间点而言根本是个无意义的计算，然而 C 语言把他们看做一样的 long 类型，从而容易让程序员犯错。 C++11 引入的时间标准库： std::chrono • 利用 C++ 强类型的特点，明确区分时间点与时间段，明确区分不同的时间单位。 • 时间点例子： 2022 年 1 月 8 日 13 点 07 分 10 秒 • 时间段例子： • 这时，无论实际执行顺序是怎样，都不会 出现一方等着对方的同时持有了对方等着 的锁的情况。 解决 3 ：用 std::lock 同时对多个上锁 • 如果没办法保证上锁顺序一致，可以用标 准库的 std::lock(mtx1, mtx2, ...) 函数，一 次性对多个 mutex 上锁。 • 他接受任意多个 mutex 作为参数，并且 他保证在无论任意线程中调用的顺序是否 相同，都不会产生死锁问题。 std::vector • 刚才说了， vector 不是多线程安全的容器 。 • 多个线程同时访问同一个 vector 会出现 数据竞争（ data-race ）现象。 封装一个线程安全的 vector • 因此，可以用一个类封装一下对 vector 的访问，使其访问都受到一个 mutex 的 保护。 • 然而却出错了：因为 size() 是 const 函 数，而 mutex::lock()

项目的文件后缀名全部改成 .cu ，都能编 译出来。 • 这是 CUDA 的一大好处， CUDA 和 C++ 的关 系就像 C++ 和 C 的关系一样，大部分都兼容 ，因此能很方便地重用 C++ 现有的任何代码库 ，引用 C++ 头文件等。 • host 代码和 device 代码写在同一个文件内，这 是 OpenCL 做不到的。 编写一段在 GPU 上运行的代码 • 定义函数 kernel ，前面加上 字。这里显示错误号为 77 ，具体名字是 cudaErrorIllegalAddress 。意思是我们访问了非法的地 址，和 CPU 上的 Segmentation Fault 差不多。 封装好了： helper_cuda.h • 其实 CUDA toolkit 安装时，会默认附带一系列案例代码， 这些案例中提供了一些非常有用的头文件和工具类，比如这 个文件： • /opt/cu https://developer.nvidia.com/blog/cuda-pro-tip-write-flexible-kernels-grid-stride-loops/ 第 4 章： C++ 封装 std::vector 的秘密：第二模板参数 • 你知道吗？ std::vector 作为模板类，其实有两个模板参数： std::vector • 那为什么我们平时只用了