新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 生活中无处不在的图 图分析技术分类 图查询 • 使用图数据库的查询语言进行点边搜索 图算法 • 中心性算法 • 社区算法 • 路径算法 • … 图深度学习 • 图嵌入 • 图卷积 • 图注意力网络 • 图自编码器 图查询及其应用场景 图查询 • 使用图数据库的查询语言进行点边的关联查询，可以快速完成传统数据库难以完成的 多度点边关 联 当前图的典型应用场景 路径识别 群体挖掘

C++ 标准库系列课 - 你所不知道的 set 容 器 by 小彭老师（ @archibate ） 课件 & 代码： https://github.com/parallel101/course 上期回顾： https://www.bilibili.com/video/BV1qF411T7sd 课程安排 1. vector 容器初体验 & 迭代器入门 (BV1qF411T7sd) 2. 你所不知道的 拟出来的 + n 复杂度为 O(n) 。虽然低效，但至少可 以用了。 std::next 等价于 + • 但是这样手写三个 ++ 太麻烦了 ，而且是就地操作，会改变迭代 器本身。 • 因此标准库提供了 std::next 函 数，他的内部实现相当于这样： • 没错，他会自动判断迭代器是否 支持 + 运算，如果不支持，会 改为比较低效的调用 n 次 ++ 。 std::advance 等价于 • 如果找不到，则返回 end() 迭代器。 • 刚刚说过， end() 指向的是 set 的尾部 再之后一格元素，他指向的是一个不存在 的地址，不可能有任何元素在那里！因此 end() 常被标准库用作一个标记，来表示 找不到的情况。 Python 中的 find 找不 到元素时会返回 -1 来表示，也是这个思 想。 • iterator find(int const &val) const;

面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 企业自建 DevOps 流程平台 围绕 Jenkins 或 CI/CD 工具 搭建流程串接胶水平台 局限性大扩展性差 内部推广难度极高 队花大量时间在碎片化沟通和流 程制定上、各方能力受限、无法 快速响应市场需求 层级越高、对产研状态越模糊 管理低效、延误战机 少量配置、快速拉起环境、稳定 性有保障、减少 90% 手工操作、 赋能开发、员工成就感高 碎片化：手工协作 + 复杂工具链 工程化：一个平台 一键发布 工作流、环境配置自动更新、高 效调试、消除手工操作、精准快 速迭代、研发生产力 / 幸福感提 升 自助运行、系统化管理、自动化 程度高、测试有效性提升、质量 指标易抽取、有能力合理调动资 源、随时决策响应客户需求 碎片化 研 发模 式 产研全流程拉通需求到上线所需的代码、服务、配置和数据的一致性交付 Jira 飞书 项管 其他 自测 环境 Argo K8s JFrog YAML 产品 开 发 测 试 运维 产研运一体化 解决方案 免运维模板库 效能洞察 云原生 IDE 插 件 交付中心 发布中心 测试中心 高并发工作流 云原生环境

自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 告警 xN 版本归档 xN 交付追踪 xN 搭建流程串接胶水平台 建设成本高 500-2000 万之间 使用和学习门槛高；随业务发展扩展性差 局限性大，内部推广难度极高，做完后维 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强 ，可灵活广泛接入现有工具链和业务场景 基于代码管理的 DevOps 方 案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 客观精准的效能洞察 强大免运维的模版库 • 自动生成面向开发、测试、运维角 色的工作流 • 多个微服务并行构建、部署、测 试，代码验证效率 UP • 自定义工作流，灵活编排发布、自 主开发和对接企业内部流程和系统 扫码查看飞书主干开发最佳实践 灵活易用的高并发工作流 • 一键拉起环境 / 子环境 • 一键复制 / 睡眠环境 • 多环境 / 环境配置管理 • 服务编排 / 跨项目共享服务

左图的案例中，我们在根目录下，创建了 两个子项目 biology 和 pybmain ，他们 分别在各自的目录下有自己的 CMakeLists.txt 。 二、根项目的 CMakeLists.txt 配置 • 在根项目的 CMakeLists.txt 中，设置了默 认的构建模式，设置了统一的 C++ 版本 等各种选项。然后通过 project 命令初始 化了根项目。 • 随后通过 add_subdirectory pybmain/CMakeLists.txt 和 biology/CMakeLists.txt 。 三、子项目的 CMakeLists.txt 配置 • 子项目的 CMakeLists.txt 就干净许多，只是创建了 biology 这个静态库对象，并通过 GLOB_RECRUSE 为他批量添加 了所有位于 src 和 include 下源码和头文件。 • 根项目的 CMakeLists CMakeLists.txt 负责处理全局有效的设定。而子 项目的 CMakeLists.txt 则仅考虑该子项目自身的设定，比 如他的头文件目录，要链接的库等等。 四、子项目的头文件 • 这里我们给 biology 设置了头文件搜索路径 include 。 • 因为子项目的 CMakeLists.txt 里指定的路径都是相对路径 ，所以这里指定 include 实际上是：根 /biology/include

// 调用本地的构建系统执行 install 这个目标，即安 装 -D 选项：指定配置变量（又称缓存变量） • 可见 CMake 项目的构建分为两步： • 第一步是 cmake -B build ，称为配置阶段（ configure ），这时只检测环境并生成构建规则 • 会在 build 目录下生成本地构建系统能识别的项目文件（ Makefile Makefile 或是 .sln ） • 第二步是 cmake --build build ，称为构建阶段（ build ），这时才实际调用编译器来编译代码 • 在配置阶段可以通过 -D 设置缓存变量。第二次配置时，之前的 -D 添加仍然会被保留。 • cmake -B build -DCMAKE_INSTALL_PREFIX=/opt/openvdb-8.0 • ↑ 设置安装路径为 /opt/openvdb-8 so ） • cmake -B build -DCMAKE_BUILD_TYPE=Release • ↑ 设置构建模式为发布模式（开启全部优化） • cmake -B build ← 第二次配置时没有 -D 参数，但是之前的 -D 设置的变量都会被保留 • （此时缓存里仍有你之前定义的 CMAKE_BUILD_TYPE 和 CMAKE_INSTALL_PREFIX ） -G 选项：指定要用的生成器

互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事  MySQL MySQL 基本介绍 基本介绍  MySQL MySQL 优化方式 优化方式  MySQL MySQL 技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 上面分担一些读压力 和流量，比如一些报表的读取以及静态配置数据的读取模块 都可以放到 M2 上面。比如月统计报表，比如首页推荐商品 业务实时性要求不是很高，完全可以采用这种弱一致性的设 计架构模式。 中间一致性 如果既不是很强的一致性又不是很弱的一致性，那 么我们就采取中间的策略，就是在同机房再部署一个 S1(R) ，作为备库，提供读取服务，减少 M1(WR) 的 压力，而另外一个 压力，而另外一个 idc 机房的 M2 只做 standby 容灾方 式的用途。 当然这里会用到 3 台数据库服务器，也许会增加采 购压力，但是我们可以提供更好的对外数据服务的能力和 途径，实际中尽可能两者兼顾。 MySQL 架构设计—高可用架构  系统优化：硬件、架构 系统优化：硬件、架构  服务优化 服务优化  应用优化 应用优化 MySQL MySQL 优化方式

，因为 cpp 字符串没要求一定是 ‘ \0’ 结尾，字符串里是可以包含 ‘ \0’ 的。 C++14 新特性：自定义字面量后缀 • 如果你 using namespace std; 其实标准库已经自动帮你定义好了 “” s 后缀。 • 这里 “ hello”s 就等价于原本繁琐的 string(“hello”) 了。 C++14 新特性：自定义字面量后缀 • 如果你觉得 using namespace 233_i32 ， cpp 做得到吗？ • cpp 标准委员会：谢邀，人在 cpp14 ，已经在 operator“”_i32 了。 • 其实 cpp 这种自定义挺好的，把自由度给到用户。 • 例如标准库说 “ hello”s 是 std::string ，“ hello”s 是 std::string_view 。 • 我也可以定义一个 “ hello”ms 是 mylib::String ，而且还是受 ，不会存在强迫别人接受你的那一套后缀名规范。 • 甚至可以自定义一个 class int32 具有成员函数，然后就可以快乐地 233_i32 .some_method() 了。而 rust 这种预先规定好一些后缀，就只能是他们标准库的那 个 int32 ，不能自己定义了。 • 所以 cpp 之父曾经说，他设计 cpp11 的时候，是考虑“如何在对语言本身改动最小的情况下 ，尽量只在标准库里做手脚，尽可能只利用现有的语言特性，实现

常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 资源，提高 GPU 利用率 – Job 调度 （部门 quota 限制 + 优先级） • 创建训练 – 用户选择集群提供代码地址和执行命令即可 – 选择所用框架（镜像）：支持官方，亦可自制 （提供 dockerfile 生成镜像服务） – 选择存储来源：对接了内部的存储 – 填写代码地址，执行的命令等 – 可以选择是否监控训练，提供 tensorboard 任务列表 可以指定 git Serving 服务，只需用户指定模型，即可提供 grpc 和 rest 服务，同时使用 GPU 复用 +HPA 提高 GPU 利用率 创建 Serving 与训练集成 • 用户只需要简单选择机房和 镜像填写模型名即可完成 Serving 服务创建 自有模型 • 用户只需要填写模型地址即 可 GPU 监控 • 容器监控服务，自适 应 GPU 容器，可根据 容器 IP 查询记录 , 便 于用户查看服务状态

'-faligned-new' to enable C++17 over-aligned new support # 使用 clang 编译 CC=clang CXX=clang++ bazel build …2 制作镜像 docker run -v $(pwd):/curve -v /root/.cache/bazel:/root/.cache/bazel -it opencurvedocker/curve-base:build-debian11