Hadoop 迁移到阿里云MaxCompute 技术方案
.................................................................... 17 4 Hadoop 到 MaxCompute 迁移工具介绍 ............................................................................................ 17 Assist) ................................................................................ 17 4.1.1 工具覆盖的场景: ............................................................................................ ................ 44 7.1.1 准备工具和环境 ................................................................................................................... 44 7.1.2 解压工具包,并配置 MaxCompute 连接信息 .........0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨 Pool交互。运维上,建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元,一般来说属于不同zone的机 器至少是部署在不同的机架,一个server必须归属于一个 zone。 • server: 通过chunkserver的定期心跳,检测chunkserver的在线状态(online, unstable, offline) • 记录chunkserver定期上报的状态信息(磁盘容量,磁盘负载,copyset负载等),以提供运维工 具查看上述状态信息。 • 通过上述信息的定期更新,作为schedule 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch, 检 前copyset是否 有配置变更任务执行,如果有任务则下发。 任务计算: 任务计算模块包含了多个定时任务 和 触 发任务。 • 定时任务由调度模块定时触发。 • 触发任务由外部触发,管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1