CurveFS对接S3方案设计

《CurveFS对接S3方案设计》文档总结如下： --- ### 文档概述 本文档主要设计了CurveFS对接Amazon S3的方案，涵盖整体架构、关键模块、接口、数据结构以及关键流程。目标在于通过 CurveFS 的客户端与 S3 对接，实现数据的存储与读取。 --- ### 整体思路 1. **核心目标**： CurveFS 对接 S3 的主要区别在于数据持久化和空间分配，元数据操作尽量保持统一。 - 文件数据按 `chunk` 和 `block` 拆分存储到 S3。 - `chunk` 大小为 64M 或 1G（待定），内部划分为多个 `block`，每个 `block` 最大 4M。 - S3 对象通过 `chunkid_index_block_version` 进行命名，元数据存储在 `inode` 中。 2. **写入场景**： - **顺序写**：按固定块写入，例如 `0~4M` 写入 `chunkid_0_0`，覆盖写时版本号递增。 - **追加写**：若写入可追加，直接追加到现有对象中。 - **覆盖写**：新数据写入新版本对象，旧数据保留，元数据记录所有版本。 3. **读取场景**： - 读取前需优化元数据，处理重复或覆盖的 `chunk`，确保读取的数据无重叠。 - 将 `chunk` 按 `offset` 排序，逐个读取并整合结果。 --- ### 整体架构 1. **模块划分**： - **S3ClientAdaptor**：负责将文件数据拆分为 `chunk` 和 `block`，并进行 S3 的读写操作。 - **S3-allocator**：负责分配 S3 对象的唯一标识。 2. **关键流程**： - **初始化**：加载配置信息，初始化 S3 客户端。 - **写流程**： 1. 若带 `append` 标志，追加写到现有对象中。 2. 更新 `inode` 中的 S3 元数据，版本号递增处理覆盖写。 - **读流程**： 1. 优化 `S3ChunkInfo`，处理重复或覆盖的数据。 2. 按 `offset` 排序 `chunk`，逐个读取并整合结果。 - **删除与回收**：直接删除对应的 S3 对象，无需释放空间。 --- ### 接口与关键数据结构 1. **protobuf 定义**： - `FSType`：区分存储类型（`TYPE_VOLUME` 或 `TYPE_S3`）。 - `S3Info`：包含 S3 访问信息，如 `AK`、`SK`、`endpoint`、`bucketname` 等。 - `FsInfo`：包含文件系统信息，如 `FSType`、`blockSize`、`chunkSize` 等。 2. **Client 端数据结构**： - `S3ClientAdaptor`：负责 S3 的读写操作，维护 `blockSize` 和 `chunkSize`。 - `S3Client`：封装 S3 的 `Upload`、`Append`、`Download` 接口，基于 AWS SDK 实现。 --- ### 关键点总结 1. **核心模块**： - `S3ClientAdaptor` 和 `S3-allocator` 是对接的关键模块。 2. **数据组织**： - 文件数据按 `chunk` 和 `block` 存储到 S3，元数据存储在 `inode` 中。 3. **版本控制**： - 覆盖写时，版本号递增，旧数据保留，后台处理回收。 4. **优化与整合**： - 读取时需对 `S3ChunkInfo` 进行优化，处理重复或覆盖的数据。 5. **空间管理**： - S3 无需释放空间，直接删除对应的对象即可。 --- 以上为文档的核心内容和关键点总结，语言简洁明了，便于快速理解设计方案。