Curve核心组件之mds – 网易数帆
收集集群状态信息,自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点,负责元数据管理、集群状态收集与调度。MDS包含以下几个部分: • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: chunkId, offset in chunk, length in chunk), Chunkserver 完成后通知; 5. Client通知用户请求完成。HEARTBEAT 心跳用于中心节点和数据节点的数据交互,详细功能如下: • 通过chunkserver的定期心跳,检测chunkserver的在线状态(online, unstable, offline) • 记录chunk0 码力 | 23 页 | 1.74 MB | 5 月前3Hadoop 迁移到阿里云MaxCompute 技术方案
SQL 语法转换,参见 6.5.1.2。 3. 转换后的 SQL 会根据 workflow.xml 中的配置,自动生成项目空间下开发环境的工作流节 点。 4. 客户可以运行测试实例,验证后发布到生产环境。 7 经典用例 7.1 基本功能 7.1.1 准备工具和环境 预先下载好工具包:odps-data-carrier.zip Alibaba Cloud MaxCompute MaxCompute 解决方案 58 2. 配置完成并上传打包文件后,Dataworks 服务会自动转换并生成 Dataworks 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.2 创建 Dataworks 标准工作流 1. 参见 6.4.2,如果您使用其他调度引擎,需要在 6.4.2.2 中按照 Dataworks 的标准模板配置 MaxCompute 解决方案 59 2. 配置完成并上传打包文件后,Dataworks 服务会自动转换并生成 Dataworks 的工作流和节 点任务。【注意】:仅支持发布到开发环境,需要客户自己测试验证后,发布到生产环境。 8.1.6.3 Dataworks 服务支持 Oozie+Dataworks 混乱模式的工作流迁移 即:支持 7.5.1.1 和 7.5.1.2 两种混合配置模式,Dataworks0 码力 | 59 页 | 4.33 MB | 1 年前3
共 2 条
- 1