第三届中国Rust开发者大会 CnosDB时序数据库的Rust实践 Yongtao Liu CnosDB 研发工程师 Rust China Conf 2023 CnosDB 是一款基于 Rust 开发的 开源的分布式时序数据库 1. CnosDB 架构与选型 2. 为何从 Go 切换到 Rust 3. 使用 Rust 经验分享 4. 反哺社区

新一代分布式高性能图数据库的构建 北京海致星图科技有限公司 2023-06-18 沈游人 数据库与大数据专场 海致简介—企业级知识图谱开创者 专业顶尖技术团队支撑 超 700 人团队，其中 80% 为技术人员，创始团队在完成全球第一个中文知 识图谱网站研发后，探索知识图谱技术在企业领域的应用。 2021 年，海致院 士专家工作站成立，站内清华大学计算机博士生占比达 90% 以上。 高性能图计算是高性能计算、图计算两项技术融合产生的新的技术方向，满足人们对更大规模、更复 杂数据的实时处理和存储需求，是计算机领域竞争新战略制高点。 产学结合、协同创新，打造全球领先的国产自研图数据库 AtlasGraph ，培育世界级的图计算软硬件 生态体系，保持对全球科技竞争的战略均衡。 海致高性能图计算院士专家工作站 海致获得“ 2021 年 CCF 科学技术奖科技进步卓越奖” CCF 以终为始，以行为知，这一项目从图计算所面临的挑战出发，解决了大规模图数据所产生 的建模能力不足、结构知识难用、巨量数据难算等技术挑战，实现了大规模复杂异质图数 据的表示学习模型、语义推荐和风险管理关键技术，构建了完整的兼具理论指导与应用检 验的大规模图数据智能分析系统与平台，满足了大数据时代从复杂异质图数据中进行知识 发现的重要需求。最终获得国内外授权发明专利 43 项， CCF -A 类论文

转 CSV 工具 • Unqlite - 单文件非关系型数据库 • Wisecondor - 生物信息 CNV 分析 • mdsn - A Multi-address DSN(Data Source Name) parser. TDengine 应用开发组 • Python/Rust/Go 连接器 • 数据可视化 • 数据库运维工具 • 第三方数据源接入 • BI 系统接入 https://taosdata TDengine: 时序数据库 TDengine 是一款开源、云原生的时序数据库（ Time Series Database ），专为物联网、工业互联网、金融、 IT 运维监控等场景设计并优化，具有极强的弹性伸缩能力。同时它还带有内建的缓存、流式计算、数据订阅等 系统功能，能大幅减少系统设计的复杂度，降低研发和运营成本，是一个极简的时序数据处理平台。 采用关系型数据库模型  需要建库、建表， 流计算 • 数据订阅 • 集群、高可用 高可靠、线性扩展 + 专业技术服务 • 边云数据复制 • 跨云 / 异地数据复制 • 增量备份 • 多级存储 • 工业数据接入 全托管时序数据 管理云服务平台 • 全托管服务 • VPC 对等连接 • 多云部署（ AWS/Azure/ GCP) CONTENTS 自 我 介 绍 T D e n g i n e t a o s X

Substrate ● Libra Rust in blockchain Why blockchain? 后端： ● 开发语言：Java, Ruby ● 框架：Spring，Rails ● 数据库：Postgres， MySQL ● 自动化测试 ● CI / CD ● 部署云服务：AWS，阿里云 web 2.0 开发 前端：HTML, Javascript, CSS ● React 编译为Wasm Wasm在链上存储 Rust 编译成本地可执行文件 RUNTIME Substrate Runtime Module Library 提供一系列的即插即用的功能，如 资产管理、共识、合约、自治等。 你也可以开发自己的Runtime组 件。 Substrate Runtime 组件 Substrate Runtime Module Library (SRML) assets Property { id: Hash, size: u64, certificate_no: u64, is_authenticated: bool } 应用链开发 - 存储管理 应用链开发 - 存储管理 decl_storage! { trait Store for Module as RealEstateStorage { Nonce: u64;

大数据 • 云计算 • 物联网 • 航空航天 • 超级计算机 • 科学运算/机器学习 • 图形图像处理 • 虚拟现实 ……都有系统编程的身影 • 操作系统 • 虚拟机/容器 • 数据库 • 3D游戏引擎 • 网络服务器 • 浏览器引擎 • 编译器、解释器 • 三维建模/动画/渲染 数据中心 • CPU/GPU • 内存/硬盘 • 电力 • 网络流量 • 其他设备和人员维护费用 这是C++的设计原则，也是Rust的设计原则 No GC • “没有GC”居然被当作一项特性（20年来GC几乎是标配） • GC的优势：简化内存管理，基本保证内存安全 • GC的劣势：运行时开销较大，占用CPU和内存较多 • GC不能管理内存以外的其他资源(file/socket/stream) • 在系统编程领域，GC的运行时开销几乎难以容忍 • GC的终极目的是安全地释放内存 • 66) .all(|_| true); } http://is.gd/9aZTCo • FFI 直接调用C库，运行时零损耗 • Thread 直接使用OS本地线程，无额外管理调度损耗 • FileSystem Network等IO操作 薄薄一层封装，通常唯一对应某个系统API调用 • Closure Inline, Unboxed (No runtime

. . . . 95 V 第三天：上午 97 18 欢迎参加第 3 天的课程 98 19 内存管理 99 19.1 回顾：程序的内存分配 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 19.2 内存管理方法 . . . . . . . . . . . . . . . . . . . . . . . . . 20 minutes 标准库特征 1 hour and 40 minutes • 第三天上午（2 小时 20 分钟，含休息时间） Segment Duration 欢迎 3 minutes 内存管理 1 hour 智能指针 55 minutes • Day 3 Afternoon (1 hour and 50 minutes, including breaks) 13 Segment Duration 2.1 Rust 生态系统 Rust 生态系统由许多工具组成，主要包括： • rustc：Rust 编译器，可将 .rs 文件转换为二进制文件和其他中间格式。 • cargo：Rust 依赖项管理器和构建工具。Cargo 知道如何下载托管在 https://crates.io 上的依赖 项, 并在构建项目时将它们传递给 rustc。Cargo 还附带一个内置的测试运行程序，用于执行单元 测试。

......................................................................................7 第一章 包管理系统与版本管理工具................................................................9 1.1 Crate ................ 2.8 pub restricted ..................................................................... 15 1.3 版本管理工具 .............................................................................. 15 1.4 rust 编译运行 程序设计语言的本质在于赋能（empowerment）：无论你现在编写的是何 种代码，Rust 能让你在更为广泛的编程领域走得更远，写出自信。 比如，“系统层面”（“systems-level”）的工作，涉及内存管理、数据表示 和并发等底层细节。从传统角度来看，这是一个神秘的编程领域，只为浸淫多 年的极少数人所触及，也只有他们能避开那些臭名昭著的陷阱。即使谨慎的实 践者，亦唯恐代码出现漏洞、崩溃或损坏。 Rust

Web3 RPC（以太坊兼容） 6. Storage (KV 数据库) 7. Executor 主要模块 • 高复杂性，组件和子系统较多，相互依赖和交互，整体结构和逻辑非常复杂，开发、 测试、调试难度大 • 可维护性，开发完成后，各个模块需要维护、升级和改进 • 可扩展性 • 高性能 • 高并发 • 高可靠性 • 代码管理 • … 大型项目的开发难点 ■ 抽象 ■ 便于协作开发

址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 Tip 值得说明的是，将内存比作 Excel 表格是一个简化的类比，实际内存的工作机制比较复杂，涉及地址 空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则无法被其他程序同时使用了。因此在数据结 构与算法的设计中，内存资源是一个重要的考虑因素。比如，算法所占用的内存峰值不应超过系统剩余空闲 当我们打开新的网页，浏览器就会对上一个网页执 行入栈，这样我们就可以通过后退操作回到上一个网页。后退操作实际上是在执行出栈。如果要同时支 持后退和前进，那么需要两个栈来配合实现。 ‧ 程序内存管理。每次调用函数时，系统都会在栈顶添加一个栈帧，用于记录函数的上下文信息。在递归 函数中，向下递推阶段会不断执行入栈操作，而向上回溯阶段则会不断执行出栈操作。 5.2 队列 队列（queue）是 中弹出最近的操作，并将其压入栈 B 。 3. 当用户执行“反撤销”时，从栈 B 中弹出最近的操作，并将其压入栈 A 。 115 第 6 章 哈希表 Abstract 在计算机世界中，哈希表如同一位聪慧的图书管理员。 他知道如何计算索书号，从而可以快速找到目标图书。 第 6 章 哈希表 hello‑algo.com 116 6.1 哈希表 哈希表（hash table），又称散列表，它通过建立键 key

址，程序便可以访问内存中的数据。 图 3‑2 内存条、内存空间、内存地址 Tip 值得说明的是，将内存比作 Excel 表格是一个简化的类比，实际内存的工作机制比较复杂，涉及地址 空间、内存管理、缓存机制、虚拟内存和物理内存等概念。 内存是所有程序的共享资源，当某块内存被某个程序占用时，则通常无法被其他程序同时使用了。因此在数 据结构与算法的设计中，内存资源是一个重要的考虑因素。比如，算法所占用的内存峰值不应超过系统剩余 当我们打开新的网页，浏览器就会对上一个网页执 行入栈，这样我们就可以通过后退操作回到上一个网页。后退操作实际上是在执行出栈。如果要同时支 持后退和前进，那么需要两个栈来配合实现。 ‧ 程序内存管理。每次调用函数时，系统都会在栈顶添加一个栈帧，用于记录函数的上下文信息。在递归 函数中，向下递推阶段会不断执行入栈操作，而向上回溯阶段则会不断执行出栈操作。 5.2 队列 队列（queue）是 中弹出最近的操作，并将其压入栈 B 。 3. 当用户执行“反撤销”时，从栈 B 中弹出最近的操作，并将其压入栈 A 。 115 第 6 章 哈希表 Abstract 在计算机世界中，哈希表如同一位聪慧的图书管理员。 他知道如何计算索书号，从而可以快速找到目标图书。 第 6 章 哈希表 www.hello‑algo.com 116 6.1 哈希表 哈希表（hash table），又称散列表，它通过建立键