Curve核心组件之mds – 网易数帆
com/opencurve/curve 概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息,自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点,负责元数据管理、集群状态收集与调度。MDS包含以下几个部分: 减少复制组数量:如果一个数据节点存在 256K个复制组,复制组的内存资源占用将会非常恐怖;复制组之 间的通信将会非常复杂,例如复制组内Primary给Secondary定期发送心跳进行探活,在256K个复制组的情况 下,心跳的流量将会非常大;而引入CopySet的概念之后,可以以CopySet的粒度进行探活、配置变更,降低 开销。 3. 提高数据可靠性:在数据复制组过度打散的情况下,在发生多个节点同时故障的情况下,数据的可靠性会受 cs9, cs12)COPYSET client MDS leader Chunk server 1、发起请求 2、查询元数据 5、返回结果 5、返回结果 user 3、查询leader节点 4、向leader cs发起请求 1. 用户发起请求(fd, offset, length) ; 2. Client 向 mds 查询请求的元数据, 并缓存到本地,请求转换为对 chunk0 码力 | 23 页 | 1.74 MB | 5 月前3Hadoop 迁移到阿里云MaxCompute 技术方案
.............. 7 2.1.1 主流大数据体系架构 ............................................................................................................. 7 2.1.2 开源大数据组件架构 ................................. ............................................................................ 8 2.1.3 阿里云大数据组件架构 ..................................................................................................... ........................................................................ 10 2.2.1 MaxComptue 的逻辑架构 ................................................................................................. 110 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1