根据快照元数据信息，转储快照数据块 dataObject。 • 5.调用mds接口，移除curve内部的快照。 • 6.mds调用chunkserver接口，删除内部快照 数据 快照流程： chunk chunk chunk chunkserver meta object data object data object S3 Snap Task etcd mds client 3.获取快照元数据 uint32_t chunk的size segmentSize uint64_t segment的size fileLength uint64_t 卷的大小 time uint64_t 快照创建时间 status enum 快照的创建状态 Etcd中的快照元数据:快照的元数据和数据组织 • fileInfo 快照目的卷的卷名等信息 • chunkMap 快照chunk映射表 MetaObject： MetaObject： • 保存完整的chunk数据，大小为一个 Chunk的大小，即16MB DataObject： • 打快照时读取当前目标卷的所有快照的全 部metaObject • 根据本快照的chunk映射表，判断当前的 快照chunk是否需要转储 增量转储原理：快照在CHUNKSERVER上的数据组织  快照chunk和普通chunk，都是 ChunkServer上的ext4文件系统中

读取⽂件 Chunk1 Chunk2 Chunk3 Chunk4 Chunk5 Chunk6 Chunk7 Chunk8 … data1 data2 data3 parity1 parity2 B-2-d B-2-d B-2-d B-2-p B-2-p Chunk2 1MB Chunk3 1MB Parity1 1MB Parity2 1MB Chunk4 1MB 1MB Chunk5 1MB Chunk6 1MB Parity1 1MB Parity2 1MB 条带1 条带2 0 Chunk1 1MB 10 数据在线修复 DN5 C-2 DN1 C-2 DN2 C-2 DN3 C-2 DN4 C-2 EC Container Group 客户端 读取⽂件 Chunk1 Chunk2 Chunk3 Chunk4 Chunk4 Chunk5 Chunk6 Chunk7 Chunk8 … data1 data2 data3 parity1 parity2 B-2-d B-2-d B-2-d B-2-p B-2-p Chunk1 1MB Chunk2 1MB Chunk3 1MB Parity1 1MB Parity2 1MB Chunk4 1MB Chunk5 1MB

是个逻辑 概念。写入chunk的数据，由copyset对应的raft完成 3副本的写入。 • multi-raft：copyset和chunkserver是多对多的关系 • 每个copyset由3个chunkserver组成 • 每个chunkserver可以服务多个copyset raft复制组 • disk -> segment -> chunk • chunk -> copyset copyset -> chunk in 3 chunkserverCurve块存储RAFT应用 请求处理流程 以写请求为例： 1. Client 发送写请求给 Leader ChunkServer。 2. ChunkServer 收到请求，将请求封装成一个 log entry，提交给 raft。 3. raft模块在本地持久化 entry 的同时发送 entry 给其 他副本（ChunkServer）。 apply，apply 把数据写入chunk。 6. 返回client写入成功。Curve块存储RAFT应用 raft apply • 由于chunk可以覆盖写，所以chunk的写入天然具有幂 等性。 • 对chunk打快照不需要把chunk重新换个地方复制一遍， 只需要记录下chunk文件的list。 • follower从快照恢复，只需要leader把最近一次快照 涉及到chunk数据给到follower，follower再从上次快

setHeader(name, value) o response.getHeader(name) o response.removeHeader(name) o response.write(chunk, encoding='utf8') o response.addTrailers(headers) o response.end([data], [encoding])  http sockets o agent.queue  http.ClientRequest o Event 'response' 事件：'response' o request.write(chunk, encoding='utf8') o request.end([data], [encoding]) o request.abort()  http.ClientResponse process.stdin.setEncoding('utf8'); process.stdin.on('data', function (chunk) { process.stdout.write('data: ' + chunk); }); process.stdin.on('end', function () { process.stdout.write('end');

process.openStdin(); stdin.setEncoding('utf8'); stdin.on('data', function (chunk) { process.stdout.write('data: ' + chunk); }); stdin.on('end', function () { process.stdout.write('end'); }); process 协议的很多特性，这些特性通常那难以掌控，特别是 large,possible 最新版文档：wiki.grati.org QQ 群：53090214 共同学习 NodeJS，欢迎加入。 32 chunk-encoded(块编码),messages。 这个接口特意不缓冲整个请求(request)或者响应(responses)使用户可以使用流 的形式操作数据。 以下是用对象的形式表示的 HTTP 'request'事件监听器第一个参数 此对象的可以触发以下事件： Event: Event: Event: Event: 'data' 'data' 'data' 'data' function (chunk) { } 当接收到信息体中的一部分时候会发出 data 事件。 例如:代表消息体的数据块将作为唯一的参数传递给回调函数。这个时候数据已经按照传输编码进行了解码（不 是字符集编码）。消息体本身是一个字符串，可以使用

database ○ Schrodinger-test platform ○ Failpoint injection ○ Goroutine-leak detection ● Optimization ○ Chunk vs interface{} ○ Vectorized execution TiDB Overview TiDB TiDB TiDB Application via MySQL Protocol goroutines func TestT(t *testing.T) { testleak.BeforeTest() TestingT(t) testleak.AfterTestT(t)() } Chunk - Effective row format in Go Row format in TiDB CREATE TABLE `t` ( `a` int(11) DEFAULT NULL, buffer ● Values Array ● More details please see the doc Chunk ● Columnar layout ● Fixed length type can eliminate the offsets buffer. type Chunk struct { columns []*column } type column struct { length

sock.accept() with open('somefile', 'rb') as file: while True: chunk = file.read(65536) if not chunk: break # EOF conn.sendall(chunk) sending a file from socket import create_server, AF_INET6 sock accept() with open('somefile', 'rb') as file: while True: chunk = file.read(65536) # 2 context switches if not chunk: break # EOF conn.sendall(chunk) # 2 context switches sending a file from socket import accept() with open('somefile', 'rb') as file: while True: chunk = file.read(65536) # 1 memory copy if not chunk: break # EOF conn.sendall(chunk) # 1 memory copy read() / send() system calls 2 context

Mongos Config Server Chunk (100, 200)  Shard1 Chunk (200, 300)  Shard2 Chunk (300, 400)  Shard3 …. 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 分片方式-范围 范围 所在分片 Chunk1 [minKey, ‐75) Shard2 Shard2 Chunk2 [‐75, 25) Shard1 Chunk3 [25, 175) Shard3 Chunk4 [175, MaxKey] Shard1 • 根据某个字段的值，顺序 划分为多个范围，每个范 围对应一个 Shard，能很 好的支持范围查询 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 分片方式-hash Shard Shard1 Client Client Shard2 Shard2 Shard3 Mongos Config Server Chunk (100, 200)  Shard1 Chunk (200, 300)  Shard2 Chunk (300, 400)  Shard3 …. Shard4 2016Postgres中国用户大会 Postgres Conference

·module-asset ·chunk-asset 优化和 seal相关： ·(after-)seal ·optimize ·optimize-modules (-basic/advanced) ·after-optimize-modules ·after-optimize-chunks ·after-optimize-tree ·optimize-chunk-modules (-basic/advanced) ·after-optimize-chunk-modules ·optimize-module/chunk-order ·before-module/chunk-ids ·(after-)optimize-module/ chunk-ids ·before/after-hash Chunk 生成算法 1. webpack 先将 entry 中对应的 module 都生成一个新的 chunk 2. 遍历 遍历 module 的依赖列表，将依赖的 module 也加入到 chunk 中 3. 如果一个依赖 module 是动态引入的模块，那么就会根据这个 module 创建一个 新的 chunk，继续遍历依赖 4. 重复上面的过程，直至得到所有的 chunks 模块化：增强代码可读性和维护性 传统的网页开发转变成 Web Apps 开发 代码复杂度在逐步增高 部署时希望把代码优化成几个

ck大小，减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的（默认64M），所以Inode中采用map s3ChunkInfoMap用于保存对象存储的位置信息。采用2级索引的好处是，根据操作的o 写缓存一旦flush即释放，读缓存采用可设置的策略进行淘汰（默认LRU），对于小io进行block级别的预读。 即读写缓存相互没影响不相关， 缓存层级 缓存层级分为fs->file->chunk->datacache 4层，通过inodeId找到file，通过index找到chunk，然后通过offset~len找到是否有合适的datacache或者new datacache。 对外接口 流程上对于读写缓存有影响的接口包括：w // TYPE_FILE only map s3ChunkInfoMap = 14; // TYPE_S3 only, first is chunk index optional uint64 version = 15; } class ClientS3Adaptor { public: ClientS3Adaptor ()