Curve核心组件之mds – 网易数帆
• 元数据节点 MDS 管理元数据信息 收集集群状态信息,自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点,负责元数据管理、集群状态收集与调度。MDS包含以下几个部分: • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理 隔离(待开发)。TOPOLOGY Topology的实际例子,右侧是topo配置文件: 集群有一个物理pool,由3个zone组成,每个zone有1台server。 在物理pool上,还创建了一个逻辑pool,逻辑pool使用3个zone,采用 3副本,有100个copyset。 cluster 信息更新拓扑 中的信息。 • ConfGenerator: 将当前上报的 copyset 信息提交给调度模块, 获取该 copyset 上可能需要执行的任务。 • HealthyChecker: 检查集群中的 chunkserver 在当前时间点距 离上一次心跳的时间,根据这个时间差更新chunkserver状态。 Chunkserver端:chunkserver 端的心跳由两个部分组成: •0 码力 | 23 页 | 1.74 MB | 5 月前3Hadoop 迁移到阿里云MaxCompute 技术方案
不同的网络环境及部署形态迁移 MaxCompute 提供了迁移工具,支持用户迁移来自不同网络环境及部署形态的 Hadoop 业务负 载,包括: IDC 自建 Hadoop 集群 阿里云上基于 ECS 自建 Hadoop 集群 友商的 Hadoop 托管服务 4 Hadoop 到 MaxCompute 迁移工具介绍 4.1 MMA(MaxCompute Migration Assist) MaxCompute 表创建 运行上一步生成的 MaxCompute DDL,创建 MaxCompute 的表与分区。 6.2.4 Hive 数据迁移 在用户 Hadoop 集群上运行步骤 2 中生成的 Hive UDTF SQL,传输数据。 6.3 迁移评估报告 6.3.1 迁移评估信息收集 6.3.1.1 使用 MMA Agent 自动采集 Hive Metadata 填写“Hadoop 搬站信息”表单,需提供如下信息: Hadoop 类型和版本(CDH 自建、CDH 云上自建、Hadoop IDC 自建、Hadoop 云上自建、 云上托管 EMR) 集群规模(服务器台数) Alibaba Cloud MaxCompute 解决方案 25 网络环境(私有网络、经典网络、VPC 专) 有无专线 常用组件(Hi0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1