Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案？ redis + muliraft 存在的问题？ redis 改造 vs 自己实现? redis 中哈希表实现的优点？ 参考 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： Raft Log：记录 operator log Raft Snapshot：将内存中的数据结构以特定格式 中有许多数据结构可供使用，如 (哈希、列表、set、sort_set)，但对于目前的需求来说，我们内存数据结构使用的是 C++ STL 中的哈希表（unsorted_map），之后有可能根据需求换成 B+ 树或跳表，但是 redis 中的这些数据结构我们是不需要的 另外，如果 C++ 中的哈希表在后期使用中发现性能不达标的话（特别是在 rehash 扩桶的时候），我们可以把 redis 中的哈希表借鉴过来用（redis 中的哈希表借鉴过来用（redis 中的哈希实现很独立，单独的文件 t_hash.c，其性能表现也非常好） redis 哈希表实现主要优点参考以下 总的来说，我们只是参考 redis 持久化实现，而 redis 中的大头（各类数据结构、模块化、主从复制、集群等这些都是我们目前不需要的），因此去改造 redis 感觉不是很划算 redis 中哈希表实现的优点？ 主要是当哈希表需要扩桶的时候，rehash 过程中 redis

rustc main.rs > .\main Hello, world! 不管使用何种操作系统，终端应该打印字符串 Hello, world!。如果没有看到这些输出，回到 安装部分的 “故障排除” 小节查找有帮助的方法。 如果 Hello, world! 出现了，恭喜你！你已经正式编写了一个 Rust 程序。现在你成为一名 Rust 程序员，欢迎！ Rust 程序的结构 现在，让我们回过头来仔细看看这个 统的目录，你可以使用模块来组织你的代码。并且，就像目录中的文件，我们需要一种方法来 找到模块。 136/562Rust 程序设计语言 简体中文版 引用模块树中项的路径 为了向 Rust 指示在模块树中从何处查找某个项，我们使用路径，就像在文件系统中使用路径 一样。为了调用一个函数，我们需要知道它的路径。 路径有两种形式： • 绝对路径（absolute path）是以 crate 根（root）开头的完整路径；对于外部 对于声明于 crate 根的 front_of_house 模块，编译器会在如下位置查找模块代码： • src/front_of_house.rs（我们所介绍的） • src/front_of_house/mod.rs（老风格，不过仍然支持） 对于 front_of_house 的子模块 hosting，编译器会在如下位置查找模块代码： • src/front_of_house/hosting.rs（我们所介绍的）

一致性协议 如何保证数据不丢？如何保证各种硬件故障的时候读 写都正常？ 可扩展性 —— 和数据分布的方式相关 所用容量都用完后，可以新增机器扩展容量分布式存储的要素 — 数据分布 无中心节点：哈希算法 INPUT (Offset, Len) HASH HASH mod 72 (DiskNums) (0, 4MB) 163342856 2 58 (4MB, 8MB) 759463473 OSD：Object Storage Device, 管理一个磁盘的进程架构简介 — 数据放置 使用多级哈希的方式 使用CRUSH算法根据pgid获得指定的副本个数的id osd.1, osd.2, osd.3 对ObjectID进行哈希并取模（复制组数量）得到pgid head_D35c9011 根据 offset, len, name.. 生成ObjectID

- 本文档使用 书栈(BookStack.CN) 构建 了该索引相关的列或主键；IndexLookUp 表示从索引中过滤部分数据，仅返回这些数据的 Handle ID，通过 Handle ID 再次查找表数据，这种方式需要两次从 TiKV 获取数据。Index 的读取方式是由优化器自动选择的。 IndexScan 是 KV 端读取索引数据的算子，和 TableScan 功能类似。table 表示 SQL 语句但是存在聚合函数，例如 count 或 sum 函数等。TiDB 支持两种聚合算法：Hash Aggregation 以及 Stream Aggregation（待补充）。 Hash Aggregation 是基于哈希的聚合算法，如果 Hash Aggregation 紧邻 Table 或者 Index 的读取算 子，则聚合算子会在 TiKV 端进行预聚合，以提高计算的并行度和减少网络开销。 TiDB 支持 Inner processlist ，找到对应 session 的 id，然后执行 kill tidb [session id] 。 可以 kill DDL 语句，首先使用 admin show ddl jobs ，查找需要 kill 的 DDL job ID，然后执行 admin cancel ddl jobs 'job_id' [, 'job_id'] ... 。具体可以参考 admin 操作。 3.1.2 TiDB

and age < 30 age > 20 and age < 30 Hash join 并行优化，支持 hash join ● 小表放到内存，等值 key 建立哈希表 ● 大表是用 goroutine 分批取值，匹配哈希表 ● 之后会支持 merge sort join 等常用算法 small table big table build hash table join worker join

4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 5.1 分片方式一：inode和dentry都按照parentid分片 5.1.1 场景分析 查找：查找/A/C。 创建：/A/C不在，创建/A/C 删除文件：删除/A/C 删除目录：删除/A rename：rename /A/C到/B/E symbolic link： hardlink：生成一个hardlink 6TB的盘来计算，一个服务器上可以有32TB的空间，硬盘的空间比内存到100多倍。但是这种方式，由于数据不能去全部缓存到内存，在查询元数据的时候，需要去盘上读数据，而且在文件系统这种使 用场景下，一次对文件的查找，需要在磁盘上读取多次。 我们的文件系统定位是一个高性能的通用文件系统，元数据的缓存倾向于全缓存。 系统加载的时候从持久化介质中进行加载，需要把一条条持久化的记录加载到内存里。实现把string → inode B dentry信息 0 + A → 100 100 + C → 300 0 + B → 200 100 + D → 400 5.1.1 场景分析 查找：查找/A/C。 1、client给server0发送请求：parentid 0 + name "A"，查询"A"的inodeid为100© XXX Page 13 of 24 2、client给server0发送请求：inode

附带上file1最后一个字节数据在底层存储的位置，再加1（期望申请的地址空间起始offset）。以图中为例，则附带的值为30MiB。 这次的空间申请，直接从level2中以30MiB作为key进行查找，找到后，进行空间分配。分配之后，相关信息如下图所示： 之前剩余的 30MiB ~ 2MiB 的extent完全分配出去，所以从level2中的list中删除。 文件inode中的extent可 ，随机或者选择可用空间 最大的extent分配出去。 文件申请空间时，之前预分配块的剩余空间被其他文件占用。此时，首先从level1查找一个可用的块，不满足要求时，按情况1进行处理。 file1再次追加写入数据时，会附带32MiB来申请空间。此时，从level1中查找32MiB对应的块标记是否为0，如果为0，则将这个块继续分配给file1。否则，可以从level1中随机选择一个可用的块进行分配© XXX 文件系统重新加载时，再将所有的空间，按照上述的策略，进行分组管理。 接口设计 RPC接口 当前设计是把空间分配器作为内置服务放在元数据节点，所以请求的发起方是fuse client，元数据服务器接收到请求后，根据fsId查找到对应的文件系统的空间分配器后，将空间分配/回收的任务交给这个分配器进行处理，处理完成后，返回RPC。 空间分配器相关的RPC接口，及request/response定义如下。与 里的定义基本一致。

fuse_ino_t ino, const char *buf, size_t size, off_t off, struct fuse_file_info *fi); 首先根据inode id 从缓存中查找到对应inode结构； 如果inode缓存中不存在对应的inode，则从mds获取inode所在copyset，metaserver ip等信息，然后从metaserver获取inode结构，缓存之； (fuse_req_t req, fuse_ino_t ino, size_t size, off_t off, struct fuse_file_info *fi); 首先根据inode id 从缓存中查找到对应inode结构； 如果inode缓存中不存在对应的inode，则从mds获取inode所在copyset，metaserver ip等信息，然后从metaserver获取inode结构，缓存之； 义，已实现） Cache设计 Client的重要部分，就是上述这些cache的组织，基于以下几点考虑cache的组织方式： 1.由于cache不命中情况下，损失了cache查找这部分时间，因此，应当选用cache查找尽可能快的结构，这里考虑采用hash_map。 2. 由于fuse一次mount是一个独立的进程，因此，不需要考虑在同一个进程中支持多文件系统，每个文件系统对应独立进程。 3

治理策略 & 高可用 • 微服务高可用设计手段 • 负载均衡 • 随机 (Random) • 轮询 (RoundRobin) • 响应时间权重 (WeightedResponseTime) • 环哈希 (Ring Hash) • 实例容错 • Fail-fast • Failover • Failresnd34/总页数 治理策略 & 高可用 – 总结 • 从手段看高可用 • 从架构看高可用

将TCP纳入Service Mesh管控还不成熟，成本远大于收益 Ø Service Mesh应主要关注L7，而不是L4 Shard A Shard B Shard C client 一致性哈希 client client产品化增强-TCP Service的处理 在Service Mesh中 Bypass TCP流量，让TCP请求跳过Service Mesh的处理，缺省发送到原 始请求目的地。