Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 快速跨云弹性发布的业务 3. 低成本大容量需求的业务 4. 中间件冷热数据自动分离 5. S3和POSIX统一访问需求 主要挑战和支持场景Curve Roadmap 1. 架构 1. 文件存储支持分布式缓存、完善冷热数据分层存储能力 2. 完善混合云、公有云上部署架构 3. 完善高性能3副本存储引擎，支持混合盘 4. 文件存储支持数据存储到HDFS、rados等引擎 2. 性能 1. 完善RDMA/SPDK方案，发布稳定版本

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

1. 2. 1. 3. 1. 2. 背景 方案调研 Chubaofs Juicefs 方案实现 方案一：chubaofs 方案二：事务方案 方案三：利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作？ 2. 在多客户端情况下，是否需要加锁来保证其原子性？ 3. rename 流程举例说明？ 例 1：rename KV/DB 中（如 redis、tikv...），而这些 KV 本身就支持事务，所以它只要把这些操作打包成事务扔给 KV 就可以了 如果采用 Juicefs 的方案，我们需要在 metaserver 层实现分布式事务 方案实现 方案一：chubaofs 从以上的分析来看，chubaofs 的方案是可行的，参照其实现就行 方案二：事务方案 前言（关于 MVCC）： MVCC ( ) MVCC 可以保证事务 ACID 中的 C(一致性) 和 I(隔离性)) 方案主要借鉴 leveldb 与 etcd(boltdb) 中事务的实现（主要利用 mvcc），方案设计如下：© XXX Page 7 of 15 整体思路如下： 在 MDS 所有 copyset 中增加一个 txid 字段，保存当前 copyset 已成功的事务 id（该事务 id 顺序递增，事务每成功一次则加一）

阿里云数据库解决方案架构师为什么要兼容 MySQL 01 The longer you look back, the farther you can look forward.也从阿里巴巴的“去IOE”运动说起 业务驱动下的分布式技术实践之路 5月17日，支付宝最后一台小型 机下线标志去IOE落下帷幕 首次双十一大考卡顿半分钟后稳 定度过 7月，TDDL+AliSQL首次验证支 持核心库 无法弹性扩展 成本高 去 IOE 中间件只是起点，PolarDB-X 可能是离终点最近的那个 对近十年的探索以及五年的上云 经验进行重新思考，面向未来设 从运维视角实现计算存储一体化 计新架构 产品形态 基于MySQL XA实现分布式事务 基于外部组件进行扩容 支持扩容 分布式事务 一体化尝试 Review 2.0 开源 2016 2017 2018 2019 2020 2021 2021年10月20日，云栖大会宣 布开源 2020年5月，PolarDB-X 不同队列中事件之间的顺序 • 分布式事务完整性 • DDL 引起的多 Schema 版本问题 • 扩缩容引起的队列增减 ? Maxwell Debezium A: PolarDB-X 全局 Binlog：完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明：下游系统或工具改造成本为零 • 实现复杂度高 Q: 分布式数据库有哪些问题要考虑Demo

势， 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.6 构建， 对外接口遵循POSIX标准，具备天然协同基础。同时openEuler 24.03 LTS版本集成分布式软总线、KubeEdge+边云协同框架等能力， ros-core、ros-base、SLAM 等核心包，并提供 ROS SDK，简化嵌入式 ROS 开发。 3. 软实时内核：提供软实时能力，软实时中断响应时延微秒级。 4. 分布式软总线基础能力：集成 OpenHarmony 的分布式软总线和 hichain 点对点认证模块，实现欧拉嵌入式设备之间互联互通、 欧拉嵌入式设备和 OpenHarmony 设备之间互联互通。 5. 嵌入式容器与边缘：支持 8 种常见协议的错误率、时延等）硬件故障（UCE、磁盘介质错误等）等秒级巡检能力。 • 系统全栈 I/O 观测：提供面向分布式存储场景的 I/O 全栈观测能力，包括 GuestOS 进程级、Block 层的 I/O 观测能力，以及虚 拟化层存储前端 I/O 观测能力，分布式存储后端 I/O 观测能力。 • 精细化性能 Profiling：提供多维度（包括系统、进程、容器、Pod 等多个维度）、高精度（10ms

© XXX Page 1 of 24 Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 tid进行分片 rename：rename /A/C到/B/E hardlink：生成一个hardlink /B/E，指向文件/A/C 6、curve文件系统的多文件系统的设计 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ dentry信息 0 + A → 100 100 + D → 400 200 + E → 300 0 + B → 200 这里rename的时候，涉及到inode信息跨节点迁移。需要引入分布式锁，是个难点。 symbolic link： 这个类型的文件和普通文件一样创建删除，区别在于，在inode信息中记录需要链接到的地址。 hardlink：生成一个hardlink /B/E，指向文件/A/C

网络拓扑日益复杂，资源云化，虚拟资 源频繁弹性伸缩。不可靠的CMDB 过去1:n → 现在1:10? 越来越复杂的应用拓扑 消息服务器 发消息 应用D 应用E 收消息 收消息 收消息 数据库 分布式 缓存 JDBC JDBC 读缓存 分布式 文件系统 写缓存 存取 应用A 开放平台 API 请求 无线客户端请求 前端网页 请求 应用B 应用C 服务调用 服务调用 应用F 应用G 服务调用 服务调用 ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫智能运维(AIOps)落地规划 业界分布式跟踪系统 Google：Dapper Naver：Pinpoint Twitter：Zipkin 点评：Cat 阿里：EagleEye 京东：JTrace、JD-Hydra（已废弃）、Callgraph、SGM OpenTracing、 SkyWalking 服务厂商：Compuware、iMaster、博睿Bonree、听云、New Relic、云智慧、 OneAPM、AppDyn、Amics 京东物流Jtrace分布式跟踪系统 延展性 应用级透明 低消耗 智能分析 定义了四个具体的设计目标 JTrace数据结构 核心数据结构由Span, Trace, 和 TraceId组成： • Trace: 多个Span的集合;

openEuler 21.09 技术白皮书 05 系统框架 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础 设施的开源操作系统。 引领内核创新 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 化安全配置 secPaver 等更多开发工具。 数据中心 云原生 边缘 HPC 嵌入式/工控 … CPU：X86、ARM、RISC-V DPU NPU 介质 总线 服务器套件 云原生套件 分布式套件 虚拟化/容器 边云协同套件 嵌入式套件 机密计算服务 欧拉 DevKit … 实时加速框架 机密计算框架 … Linux Kernel 实时内核 安全内核 … 场 景 使 能 层 inode 中跟踪依赖的 持久化操作，后续通过异步的方式进行持久化，可以大幅提高性。 应用场景 通用的针对 NVDIMM 新介质的文件系统，可代替 EXT4，XFS 等文件系统，满足单机应用、云原生分布式应用高性能 数据存储诉求。 openEuler 21.09 技术白皮书 12 内存分级扩展 当前内存制造工艺已经达到瓶颈，Arm 生态发展让每个 CPU 核的成本越来越低。数据库、虚拟机、大数据、人工智能、

如何结合业务 与运维？ 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 • 全面数据获取能力 • 全量数据获取能力 • 数据处理、分析能力 • 容器、分布式、微服务、serverless… 新技术挑战 自我介绍 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 用户操作：面向用户可实际操作并触发后续业务或完成 业务流：为完成特定的价值目标，由多个或单个角色完 成一系列业务操作的流程。 如：借贷流程、审批流程、订单处理流程、合同审批流 程等。 业务：“业务”更白话一些来说，就是各行业中需要处理 的事务，但通常偏向指销售的事务，因为任何公司单位 最终仍然是以销售产品、销售服务、销售技术等等为 主。业务就是进行或处理商业上相关的活动。 如：营销业务、广告业务、办公OA、CRM等 业务、业务流、业务操作定义 业务

CurveFS client 向上提供两层接口，分别是© XXX Page 3 of 11 对接fuse，提供通用文件系统接口。对于fuse接口，先前进行了一些调研，见FUSE调研 提供lib库，提供对接分布式数据库接口，这一部分，可参考polarfs的接口，如下图所示。 根据讨论，我们首先对接fuse的lowlevel operators，对于数据库的lib库接口，后续可以在此基础上再做一层对接。lowlevel parent，并修改name为newname。 二是，在new parent创建新的inode和dentry，然后删除旧的parent下的inode和dentry 两者都涉及到rename的事务性的问题？（ ） 这里可能还需要详细分析到底是否需要完整的事务的4个特性acid，还是只需要实现其中部分 目前阶段rename可先不实现，但是可以先考虑一些方案。 symlink & readlink void (*symlink)