1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 5.1 分片方式一：inode和dentry都按照parentid分片 5.1.1 场景分析 查找：查找/A/C。 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX Page 3 of 24 moosefs（mfs） 有元数据服务器 全内存 fsnode → hashtable(inode id) fsedge → hashtable (parent inode + name) 全内存 chunk → hashtable(chunk chunk raft 块设备的元数据管理 cephfs 3、各内存结构体 时间复杂度 空间复杂度 特点 可用实现 Btree 一个节点上保存多条数据，减少树的层次(4~5层)，方便从盘上读取数据，减少去盘上读取次数。适合在盘上和内存组织目录树。 google，https://github.com/abseil/abseil-cpp/tree/master/absl/c

事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制文档 Bit-value Literals Boolean Literals Date 和 Time 字面值 十六进制的字面值 NULL Values 数值字面值 字符串字面值 TiDB 用户文档 Prepared SQL 语句语法 实用工具语句 TiDB SQL 语法图 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制 高级功能 历史数据回溯 垃圾回收 (GC) TiDB 运维文档 软硬件环境需求 部署集群 Ansible 部署方案（强烈推荐） 离线 Ansible 部署方案 Docker 部署方案 Docker 优化 语言结构 字符集和时区 数据类型 函数和操作符 SQL 语句语法 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制 高级功能 TiDB 用户文档 - 23 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 系统数据库 TiDB 系统变量

115 115 116 116 116 116 117 117 117 118 118 118 118 118 性能数据 性能数据 测试⼀ 同可⽤区实例 同可⽤区类型- 限制TiKV内存60G 同可⽤区类型- 限制TiKV内存30G 测试⼆ 跨可⽤区类型 同可⽤区类型 FAQ Q1:TiDB当前覆盖多少地域？ Q2：每个⼩时业务要创建⼀些中间表，完成计算，然后删除掉，频繁创建和删除表对TiDB 性能影响⼤吗？ 集群固定3个配置8G内存的计算节点， 固定3个配置20G内存及400G RSSD 的存储节点。 限制项 限制项 数量（个） 数量（个） 单节点内存（ 单节点内存（G） ）单节点存储（ 单节点存储（G） ） 计算节点 3 8 NA 存储节点 3 20 400 体验版 体验版 适⽤于⽤⼾测试或者⼩型业务线上使⽤。 ⽤⼾⽆需关⼼集群内部复杂的配置及故障迁移，集群固定3个配置4G内存的计算节点， 固定3个配置10G内存及200G 固定3个配置10G内存及200G RSSD 的存储节点。 限制项 限制项 数量（个） 数量（个） 单节点内存（ 单节点内存（G） ）单节点存储（ 单节点存储（G） ） 计算节点 3 4 NA 存储节点 3 10 200 实例类型 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 23/120 计费 计费 UCloud TiDB 提供两种计费模式：预付费/后付费

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 15.6. 引用循环会导致内存泄漏 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 程序设计语言的本质实际在于 赋能（empowerment）：无论你现在编写的是何种代码， Rust 能让你在更为广泛的编程领域走得更远，写出自信。（这一点并不显而易见） 举例来说，那些“系统层面”的工作涉及内存管理、数据表示和并发等底层细节。从传统角度来 看，这是一个神秘的编程领域，只为浸润多年的极少数人所触及，也只有他们能避开那些臭名 昭著的陷阱。即使谨慎的实践者，亦唯恐代码出现漏洞、崩溃或损坏。 Rust “深入” 底层控制的程序员可以使用 Rust，无需时刻担心出现崩溃或安全漏洞，也无需因为 工具链不靠谱而被迫去了解其中的细节。更妙的是，语言设计本身会自然而然地引导你编写出 可靠的代码，并且运行速度和内存使用上都十分高效。 已经在从事编写底层代码的程序员可以使用 Rust 来提升信心。例如，在 Rust 中引入并行是相 对低风险的操作，因为编译器会替你找到经典的错误。同时你可以自信地采取更加激进的优

2 Why ●为了减少使用cpu做内存copy，减少系统调用 ●发挥某些被操作系统屏蔽的功能，例如nvme write zero ●根据阿里《When Cloud Storage Meets RDMA》的说法 ●在100Gbps网络带宽时，内存带宽成为瓶颈 ●Intel Memory Latency Checker (MLC)测试得到的CPU内存带宽是 61Gbps10/17/22 3 3 RDMA可以减轻CPU负担 ●可以减少CPU操作网络通讯的开销 ●读写内存都由网卡进行offload ●应用程序不再通过系统调用在内核和用户态来回切换10/17/22 4 磁盘的读写 ●基于EXT4的存储引擎，依然需要通过系统调用来回切换 ●读写都需要CPU拷贝数据 ●不能发挥某些NVME的功能，例如write zero10/17/22 5 为什么用PFS ●对代码比较熟悉 ●直接DMA读写，要求的内存必须是DPDK的hugetlb内存 ●必须符合NVME 内存读写地址对齐要求 ●offset 512对齐 ●为零copy提供接口10/17/22 10 BRPC IOBuf DMA ●修改BRPC，允许使用dpdk内存作为IOBuf的内存分配器 ●BRPC接收到的数据在IOBuf中，IOBuf直接使用于NVME DMA传输 ●使用IOBuf内存读nvme，避免自

• 路由 • 后端管理4 性能单核优化点 1 Ø绑核 ü 更好的 runtime G-P-M data locality亲和性 ü 整体性能提升约 30% Ø内存 ü SLAB-style buffer pool ü 内存优化 ØIO ü IO 优化 ü IO 均衡 Ø调度 ü P调度均衡 ü 池化 worker 协程 Ø其他 ü Log 优化 ü Codec 优化：减少解包等绑核 locality 亲和性 üRuntime 内存使用率提升，arena 区内存申请频率低，大小更小 üMheap 申请系统内存减少约60%内存 3 ØSLAB-style buffer pool ü减少内存 copy ü压测场景下内存复用率90% ØGolang 内存模型亲和 üP中 mcache 缓存小于 32K 的小内存块，最大 2M ü小内存分配顺序 Pmcache -> mcentral mcentral -> mheap -> arena ü大于 32K 的大内存分配顺序 mheap -> arena ØGC 优化 ü避免入堆 ü减少内存 copy ü内存使用整体化，降低 scanobject 成本 ü使用 GC 亲和的数据结构 ü适度使用 sync.Pool ü…IO 4 Ø优化 ü尽可能多读，同时减少SetReadDeadline频繁调用，实现见 IOBuffer.ReadOnce

5、读写流程 6.6、topology 7、工作评估 7.1 client端 7.2 mds端 7.3 metaserver端 metaserver 子模块拆分 8、inode和dentry的内存估算 8.1 一台机器上能存放多少个inode和dentry 8.2 一台机器上建议的copyset数量 8.3 每个copyset建议管理存储容量的大小 1、背景 curvefs使用raft 63-1的Inode id。创建meta partition的时候，选择的3个meta node组成一个复制组。如何选择？论文上写的是按照存储节点的memory和disk usage来选的，通常选择内存和disk使用率最低的节点。 并去对应的meta node上去创建对应的meta partition。 如何选择partition的host，通过这个函数去选择。 func (c *Cluster) []proto.Peer, err ) string error metanode是否能够创建copyset，由这个函数判断。有这些判断条件： 1、metaNode的存活状态 2、metaNode的内存使用情况 3、metaNode的磁盘使用情况© XXX Page 4 of 19 4、metaNode上的partition的个数 func (metaNode *MetaNode) isWritable()

Categraf Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 period ) by (pod,id,namespace,container,ident,image) 内存使用量除以内存限制量，就是使用率，但 是后面跟了 and container_spec_memory_limit_bytes != 0 是因为有些容器没有配置 limit 的内存大小 container_memory_usage_bytes / container_spec_memory_limit_bytes 针对 apiserver 的请求量的指标 • kubeproxy_sync_proxy_rules_duration_seconds 同步网络规则的延迟指标 以及通用的进程相关的指标，进程的 CPU 内存 文件句柄等指标 Kubernetes 控制面组 件的监控 Kubernetes控制面 apiserver的监控 • apiserver 通过 /metrics 接口暴露监控数据，直接拉取即 可

现了块存储，向上提供块设备服务，CurveFS会基于此实现。第一阶段的目标是实现 满足数据库场景的文件接口。 调研 开源fs 当前对已有的开源分布式文件系统进行了调研，主要包括系统架构，元数据内存结构，元数据持久化，调研文档如下： chubaofs: ChubaoFS© XXX Page 3 of 14 1. 2. 3. moosefs: https://kms.netease list 加速，需要新的缓存结构 c. 扩展性/可用性/可靠性 依赖于第三方kv存储，目前是etcd CurveFS 单机内存元数据设计 类似 fastcfs 和 moosefs 的元数据设计方式，采用通用的 dentry，inode 两层映射关系，所有的元数据都缓存在内存中，持久化在 binlog 文件中，binlog采用定期dump的方式删除。基于这种方式的开发： a. 性能 加载： 扩展性不够，受限于单机的内存和磁盘，只能纵向扩展 可用性足够，由于是 master-slave 的方式，master 以同步方式调用 slave，slave 在内存中也缓存了全部元数据信息 master-slave 多副本数据 CurveFS 分布式元数据设计 类似 chubaofs 的元数据设计方式，同样是采用 dentry，inode 两层映射关系，所有的元数据都缓存在内存中。元数据是分片的，使用

raft的apply，直接在对应的chunk上写入数据。Curve文件存储RAFT应用 Curve文件存储 • 分布式文件系统 • 支持多挂载，提供close-to-open一致性 • 提供缓存加速，可使用内存、本地盘、云盘加速 • 存储后端可对接对象存储，降低成本 • 支持生命周期管理 Curve文件存储架构 • client：接受用户请求，采用fuse的方式挂载挂载使用。 • 元数据集群：mds • 要求存储的元数据的大小不超过内存的大小 • raft apply的请求，数据都在内存，直接修改 内存中的数据 • raft snapshot，为避免快照对正常操作的影 响，利用操作系统的内存写时复制技术， fork一个进程创建完整的状态机的内存快照， 后台遍历内存，把内存的数据持久化到本地 磁盘 基于memory的存储引擎 • 存储元数据量不受内存大小限制 • raft apply请求，数据保存在rocksdb，向