Curve核心组件之mds – 网易数帆
OFFLINESCHEDULE Schedule(系统调度)是为了实现系统的自动容错和负载均衡,这两个功能是分布式 存储系统的核心问题,也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常(如坏盘、机器宕机)导致的数据丢失不依赖人工处理,可 以自动修复。 • 负载均衡和资源均衡保证集群中的磁盘、cpu、内存等资源的利用率最大化。SCHEDULE Schdedule的具体实现 Coordinator:0 码力 | 23 页 | 1.74 MB | 5 月前3Hadoop 迁移到阿里云MaxCompute 技术方案
Dataworks 服务 .......................................................................... 56 8.1.3 安装 MMA Agent 客户端工具 .................................................................................. MMA 工具 ⚫ 编译环境要求:JDK 1.8+、 Apache Maven 3.x、Python 3.x 6.4.2 方案 A:通过 MMA Agent 迁移 Meta 和数据 1. 安装 MMA Agent 并使用 meta-carrier 获取 hive metadata 参见 6.3.1.1。 2. 客户需要预先开通 MaxCompute 服务,并创建好 project。 4.3 方案 B:使用 Dataworks 服务迁移 Meta 和数据 6.4.3.1 操作步骤 1. 客户需要预先开通 MaxCompute 服务,并创建好 project。 2. 安装 MMA Agent 并使用 meta-carrier 获取 hive metadata,参见 6.3.1.1。 3. 使用 meta-processor 生成 ODPS DDL 和 Hive UDTF0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1