© XXX Page 1 of 3 curvefs s3数据整理(合并碎片、清理冗余)© XXX Page 2 of 3 1. 2. 3. 1. 2. 3. 4. 5. 6. 1. 2. 背景 只考虑单客户端, 单metaserver 为了解决的问题: 客户端在对一个文件的某个部分多次写入后, 同一个chunk会产生很多版本数据; 而客户端在读的时候 会需要对这些chunk进行筛选和构建, 得到有效的部分, 越是散乱的状态, 就越需要发送更多次读请求至s3. 最后导致无效旧数据的堆积和读请求性能的下降, 所以需要在合适的时候进行重叠元数据和数据的合并 原则是尽力而为, 并不能做到完美 方案 基于一下3个基础的数据结构, 2层索引 s3chuninfolist[index] = [s3chunkinfo(s)] s3chunkinfo {

背景 本地文件系统空间分配相关特性 局部性 延迟分配/Allocate-on-flush Inline file/data 空间分配 整体设计 空间分配流程 特殊情况 空间回收 小文件处理 并发问题 文件系统扩容 接口设计 RPC接口 空间分配器接口 背景 根据 ，文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 CurveFS方案设计（总体设计，只实现了部分） 配之后，extent的元数据量为24GiB（1PiB / 1MiB * 24，24为每个extent所占用的字节大小）。 如果同一文件在多次申请空间时，能分配连续的地址空间，则extent可以进行合并。例如，文件先后写入两次，每次写入1MiB数据，分别申请的地址空间为（100MiB，1MiB）和（101MiB，1MiB），则只需要一个ex tent进行记录即可，（0，100MiB，2MiB）。 。分配之后，相关信息如下图所示： 之前剩余的 30MiB ~ 2MiB 的extent完全分配出去，所以从level2中的list中删除。 文件inode中的extent可以将两次的申请结果进行合并，得到（0，28MiB，4MiB）。 特殊情况 新文件申请空间时，leve1中的所有bit都标记为1，即所有的块都已经预分配出去。在文件系统空间比较满的情况下，有可能会造成这个问题。此时，申请空

一台机器上能存放多少个inode和dentry 8.2 一台机器上建议的copyset数量 8.3 每个copyset建议管理存储容量的大小 1、背景 curvefs使用raft作为元数据一致性的保证。为了提高元数据的可扩展性和并发处理能力，采用元数据分片的方式管理inode和dentry的元数据。inode的分片依据是fsid + inodeid，dentry的分片依据是fsid + parentinodeid。借鉴curv ，只需要把chunkserver改成metaserver。 curvefs的topo信息的层级最终是这样： →pool ：存储池（curve的physical pool和logic pool这里合并，只保留一个pool） →zone：可用域 →server：代表着一台服务器 →metaserver：代表着一块盘© XXX Page 9 of 19 vector Copyset * out 6.6、topology topology参考curve的topology的实现，由于curve的physical pool和logic pool在curvefs中合并成了一个，所以，并不能直接复用curve的topology的代码。 curve在创建logic pool的时候去创建copyset。现在集群的topo信息在mds创建好了之后，topo中并没有co

能  提供接口  数据面：AioWrite/AioRead、Write/Read  控制面：Create/Delete、Open/Close、Rename等  IO处理：转换、拆分、合并  元数据获取及缓存  逻辑chunk与物理chunk映射关系  物理chunk所属的复制组(copyset)  复制组所在的chunkserver列表  复制组的leader信息 增加队列，用户请求放入队列，由后台线 程负责发送 86.4K -> 130KCLIENT性能优化  发送RPC耗时较长  增加发送线程个数  在bthread协程中使用std::mutex/spinlock，在大量并发的情况下，会阻塞worker线程，也 存在瓶颈  std::mutex/spinlock 改成 bthread::Mutex  …… 128深度、4K随机写欢 迎 大 家 参 与 C U

FileInfo）最大的区别在硬链接的实现上。扁平化元数据无法做到共用同一个数据区域，对于硬链接的实现很不友好。 根据之前的调研，分级元数据可以分为两种实现方式。一是类似 fastcfs 把 inode 和 dentry 合并为一个 dentry 的结构，dentry 中包含一些指针，通过指针实现数据的共享；第二类类似 moosefs 和 chubaofs，使用 inode 和 dentry 两种结构，dentry 中记录 可以使用stream类型的rpc？ ③ 正常使用场景，有一定的目录层级，文件分配数量较多，文件较小。这种情况inode比较分散，一般分布在多个复制组上，inode数量较多。 client获取数据可以并发从多个复制组中获取。 数据结构的选取？ 考虑类似bluestore建立多层索引？CurveFS空间分配调研#bluestore 开发计划及安排 2021M1 事项 备注 时间 人员© XXX Page

curve通过lcov统计代码覆盖率，衡量单元测试的完备程度，如下图所示： 13/33集成测试 测试目的 测试内容 单元测试后，有必要进行集成测试，发现 并排除在模块连接中可能发生的上述问题， 最终构成要求的软件子系统或系统。集成 测试需要关注的主要是各模块连接起来后 的问题：  穿越模块接口的数据是否会丢失；  子功能的组合是否可以达到预期的要求；  子模块之间是否会相互影响；  单个模块的误差积累是否会放大，从而 ChunkServer MDS MDS Client Daily reporter MDS MDS SnapshotClone Server HTTP采集 bvar数据 定时获取图表 并发送邮件 获取集群拓扑信息 Curve利用brpc内置的bvar组件生成监控指标，并 使用部署在docker的三个组件进行监控指标的处 理与展示：  Prometheus——面向云原生应用程序的开源

通过日志初步分析有2点原因© XXX Page 3 of 9 1.append接口目前采用先从s3 get，在内存中合并完后再put的方式，对s3操作过多 2.对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3的访问 （包括刚好是边界的情况）即可写。 4.2 同时计算后续的多个DataCache是否和chunkPos~len有交集，如果有则一并获取 5. 如果有可写的DataCache，则调用Write接口将数据合并到DataCache中； ，加入到ChunkCacheManager的Map中。 如果没有可写的DataCache则new一个 5.完成后返回成功。 Read流程 1.根据请求offset，计算出对应的chunk ap_中，这里要注意一点：回退的过程，如果chunkCacheMap_为空，则直接swap回退。如果chunkCacheMap_不为空，则表示F lush的过程中有新的cache加入，则需要进行合并，合并的规则是新的cache如果和老的cache有重叠则覆盖老的cache。 FsSync流程 1.循环获取FileCacheManager，执行Flush函数。© XXX Page 9 of 9

flag则在writechunk的时候会调用s3的append接口追加写到同一个block object。 3.更新inode中s3元数据的时候，现在只会将可以直接合并的S3Info进行了合并，后面需要考虑如果S3Info太大，需要进行rewrite将元数据进行重新合并 4.inode我们只更新s3Info，并不更新length，length由client在外面流程统一更新© XXX Page 11 of 11 read流程

续的block组成，一次IO提交可以提高效率。10/17/22 8 PFS+SPDK 的部分读写的实现 ●某些盘只支持4k单位读写，但是CurveBS支持512字节读写 ●可能存在部分写的并发冲突 ●引入并发的range lock解决冲突10/17/22 9 PFS+SPDK 的DMA支持 ●ssize_t pfs_writev_dma(int fd, const struct iovec *iov ●估计非daemon模式的会更快一点，因为没有跨进程开销10/17/22 20 Write,DMA write,Write-zero测试10/17/22 21 fio 4k 1个并发+单深度10/17/22 22 Fio 4k 16并发单深度10/17/22 23 谢谢！

中的bvar计数 器，统计一些IO层面和copyset层面的 一些指标，方便监控和跟踪。 ChunkServer架构并发控制层，负责对chunkserver的IO 请求进行并发控制，对上层的读写请 求安照chunk粒度进行Hash，使得不同 chunk的请求可以并发执行。 ChunkServer架构DataStore是对chunk落盘逻辑的封装。 包含chunkfile的创建、删除，以及实际