2642837 2589230 0 13:47 pts/156 00:00:00 ./bazel-bin/curvefs/src/client/fuse_client -f -o volume=/fs -o user=test -o conf=./curvefs/conf/curvefs_client.conf /tmp/fsmount 问题1：root用户无法访问挂载目录 测试发现client Page 4 of 33 查阅资料发现这是fuse的一种安全策略，默认是只有filesystem owner拥有该文件系统的访问权限，如果想要其他用户有权访问，需要在挂载参数中指定‘-o allow-root’ 或'-o allow-other'以允许相应用户有权访问该文件系统，如果挂载者不是root还需要在/etc/fuse.conf（/usr/local/etc/fuse.conf）中增加配置项 现共享。© XXX Page 7 of 33 strace ./bazel-bin/curvefs/src/client/fuse_client -f -o volume=/fs -o allow_other -o user=test -o conf=./curvefs/conf/curvefs_client.conf /tmp/fsmount ... mount("fuse_client", "/tmp/fsmount"

open flags 在curvefs上的测试 open flags 实现方式 整体flags支持方案 具体flag的实现方案 O_TRUNC I/O模式类 O_DIRECT O_SYNC, O_DSYNC O_NONBLOCK(O_NDELAY ), FASYNC, O_TMPFILE 结论 参考文献 open接口原型 # man page open, openat, creat - open const char *pathname, const struct open_how *how, size_t size); open系统调用会打开pathname指定的文件（如果不存在，如果携带O_CREAT flag则会创建），返回一个文件描述符fd（该fd是进程打开文件描述符表的index），在后续系统调用（read(2)、write(2)、lseek(2)、fcntl(2) etc.）中 持 #define O_RDONLY 00000000 #define O_WRONLY 00000001 #define O_RDWR 00000002 #define O_CREAT 00000100 #define O_EXCL 00000200 #define O_NOCTTY 00000400 #define O_TRUNC 00001000 #define O_APPEND 00002000

com/archive/p/cpp-btree/， btree_map , btree_set, btree_multimap, and btree_multiset ，（ ） Apache B+tree 内部结点不保存数据，只有叶子结点保存数据。 https://github.com/begeekmyfriend/bplustree，（MIT），实现了落 盘 BST O(log(n)) O(n) c++ stl 模板© XXX Page 4 of 24 skip list O(log(n)) O(n) level db，https://github.com/google/leveldb/blob/master/db/skip list.h，( BSD) libfastcommon，https://github.com/happyfish100/libfastcommon/tr r ，(LGPL) ee/master/src hash table O(1)~O(n) O(n) + table 需要占用额外空间，性能和hash表的大小有关，最理想可以达到O(1)复杂度，最差O(n)复杂度。 c++ stl unordered_map moose，使用c实现 4、curve文件系统的元数据内存组织 curve文件系统元数据主要有3个类型，inode，

posix语义中open支持的oflag主要有： O_RDONLY 只读打开 O_WRONLY 只写打开 O_RDWR 读写打开 以上3个必须指定且只能指定一个 O_APPEND 只追加写 O_CREAT 文件不存在时创建 O_EXCL 如果同时指定了O_CREAT，而文件已存在，则会出错，用此测试文件是否存在，如果不存在则创建此文件。 O_TRUNC 如果文件存在，且为只写或只读打开，则将其文件长度截短为0 O_DSYNC sync数据和必要元数据（不影响读取刚写入的数据） O_SYNC sync数据和所有元数据 O_DIRECTORY 目录 O_DIRECT 直接IO open的主要逻辑： 根据inode id，从mds获取inode所在copyset，metaserver ip等信息，然后从metaserver获取inode结构，缓存之； 判断上述各种oflag，执行相应的操作。（ ） 对于目前阶段来说，open可以什么都不做

Node in PG SLOW STORAGE/DISK FAILURE INFLUENCE without I/O disruption I/O jitter occasionally CAN SYNC WITH REMOTE DISK SERVER Y NI/O Jitter (vs. Ceph) 3 replicas with 9 nodes cluster each node FAULTS CASE CURVE I/O JITTER CEPH I/O JITTER COMMENT ONE DISK FAILURE 4s 7s ONE SERVER FAILURE 4s 7s SERVER RESPONSE VERY SLOW 4s unrecoverable frequently delay of disk i/o are very long NETWORK

Performance using RDMA ● Compared with TCP, I/O throughput increases by 20%Availability testing in corner cases The impact of different faults on I/O jitter delay ● Disk failure ● Server failure failure ● Server fake death ● Slow response Faults case curve i/o 抖动 Disk failure 4s Server failure 4s Server fake death 4s Slow response 1s frequentlyData availability analysis Copyset allocation algorithm Community � You can take awayCURVE Roadmap ● Features ○ Supports RDMA and SPDK ○ Further reduce I/O latency and improve throughput ○ Support data lifecycle management ○ Curve block devices can be used

nuxiSCSI target服务器 • LINUX LILO • 一般用于输出内核本地块设备 • TCMU • 作为LILO支持用户态的接口 • 如何评价LILO • 输出内核块设备I/O效率高 • 不利于把复杂的存储协议代码搬进内核，例如(curve, brpc, c++, protobuf 等) • TCMU多了一层转接，配置过程复杂，业界踩的坑不够多。 • TCMU的用户态代码会受到框架约束，不够灵活。iSCSI 纯C代码，外加一些脚本 • 完整的源代码和维护工具、手册 • 编写IO驱动比较容易，容易扩展支持新的存储系统 • 代码独立，容易编译、调试、修改，适应性强让TGT支持curve • 编写curve驱动，底层异步提交I/O，pipeline • 利用NEBD PART 1接口，需要与nebdserver运行在同一台机器 • 支持共享打开，两台TGT服务器可以同时打开一个curve卷 • 让Initiator可以使用multipath 原因，event loop依然是瓶颈对TGT的性能优化 • IO是使用多个epoll 线程，充分发挥多CPU能力 • 当前策略是每个target一个epoll线程，负责Initiator发过来的I/O • 好处是各target上的CPU使用由OS负责分配，CPU分配粒度更细 • 也可以多个卷的lun都分配到一个target上，这样多个卷共享一个target， 限制使用一个CPU。 • 管理平面不变。主线程里的事件循环及问题：

2、解析MDS的心跳response中的raft 成员变更信息，向CopysetNode发起变 更 ChunkServer架构ChunkOpRequest模块封装了对 ChunkService到达的I/O请求的实际处 理过程。请求到来时，封装一个 OpRequest，将上下文保存在里面，然 后发起Propose提交给raft，等raft apply后再执行后面的操作。 ChunkServe er处理时延的50%以上，因此推断braft日志落盘存在瓶颈 ChunkServer性能优化主要是braft日志落盘优化，包括三个方面： 1、追加写改为覆盖写 2、写入时4KB对齐 3、改为O_DIRECT模式 How？ Why？新版本ChunkServer性能优化 1、模拟braft日志落盘方式的demo程序测试结果，latency为调用sync花费的时间（第一次新写，第二次覆盖写）; 日志落盘优化，包括三个方面： 1. 追加写改为覆盖写（避免每次写的时候改变元数据，减少IO放大） 2. 写入时4KB对齐（4KB不对齐的情况下，每次写入都会有读请求，从而影响效率） 3. 改为O_DIRECT模式（改为Direct模式可以避免显式调用sync）欢 迎 大 家 参 与 C U R V E 项 目 ！ • github主页： https://opencurve.github.io/

客户端分成NebdClient与 NebdServer两部分 2. NebdClient只做简单的转发 3. NebdServer实现大部分的客 户端逻辑Curve块存储 故障对I/O抖动延迟的影响 FAULTS CASE CURVE I/O 抖动Curve文件存储 1. 元数据服务 2. 高性能 3. 可扩展易运维 4. 云原生 设计目标Curve文件存储 1. 兼顾性能与容量的机器学习 场景

FlowCurveBS ArchitectureCurveBS TopologyCurveBS Data OrganizationMetaData Server(MDS)ChunkServerCurveBS I/O FlowClientCurveBS ConsiderationsCloud NativeCurveBS Roadmap • MultiRaft optimization • ParallelRaft