Hadoop 迁移到阿里云MaxCompute 技术方案
的数据湖/数据仓库业务负载 ......................................................................... 15 3.2 不同的网络环境及部署形态迁移 ......................................................................................... ............................................................................... 44 7.1.2 解压工具包,并配置 MaxCompute 连接信息 ................................................................. 45 7.1.3 运行 meta-carrier Oozie 工作流任务如何迁移到 MaxCompute 和 Dataworks? ........... 55 Alibaba Cloud MaxCompute 解决方案 5 8.1.1 网络环境检查 ..............................................................................................0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
hunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 多个pool,可以选择一个logicalPool独享一个pool。 通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理 隔离(待开发)。TOPOLOGY Topology的实际例子,右侧是topo配置文件: 集群有一个物理pool,由3个zone组成,每个zone有1台server。 在物理pool上,还创建了一个逻辑pool,逻辑pool使用3个zone,采用 间的通信将会非常复杂,例如复制组内Primary给Secondary定期发送心跳进行探活,在256K个复制组的情况 下,心跳的流量将会非常大;而引入CopySet的概念之后,可以以CopySet的粒度进行探活、配置变更,降低 开销。 3. 提高数据可靠性:在数据复制组过度打散的情况下,在发生多个节点同时故障的情况下,数据的可靠性会受 到影响。引入CopySet,可提高分布式存储系统中的数据持久性,降低数据丢失的概率。COPYSET0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1