Hadoop 迁移到阿里云MaxCompute 技术方案
...................................................................... 9 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 ......................................................................... 9 2.2 MaxCompute 特性介绍 ........................................................................... 10 2.2.1 MaxComptue 的逻辑架构 ............................................................................................... .......................... 15 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 ......................................................................... 15 3.2 不同的网络环境及部署形态迁移 ......................................0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景:块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储,对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页: https://opencurve.github.io/ • github代码仓库: https://github MDS是中心节点,负责元数据管理、集群状态收集与调度。MDS包含以下几个部分: • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。 • Heartbeat: 心跳模块。跟chunkserver进行交互,收集chunkserver上的负载信息、 copyset信息等。 • Scheduler: 调度模块。用于自动容错和负载均衡。TOPOLOGY topology用于管理和组织机器,利用底层机器的放置、网络的规划以面向业务提供如下功能和非功能需求。 1. 故障域的隔离:比如副本的放置分布在不同机器,不同机架,或是不同的交换机下面。 2. 隔离和共享:不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离,server不能跨 Pool交互。运维上,建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元,一般来说属于不同zone的机0 码力 | 23 页 | 1.74 MB | 5 月前3PlantUML 1.2019.1 Guía de Referencia del Lenguaje
participant " 最 後 一 堂 課 " as 別 的 東 西 使 用者 -> A: 完 成 這 項 工 作 activate A A -> B: 創 建 請 求 activate B B -> 別 的 東 西 : 創 建 請 求 activate 別 的 東 西 別 的 東 西 --> B: 這 項 工 作 完 成 destroy 別 的 東 西 B --> A: 請 求 創 建 deactivate DarkSlateGray 使 用者 << 人類 >> " 主 數 據 庫 " as 數據庫 << 應 用 程 式 >> ( 草創 ) << 一桿 >> " 主 数 据 燕 " as ( 贏余 ) << 基 本的 >> 使 用者 -> ( 草創 ) 使 用者 --> ( 贏余 ) 數 據庫 --> ( 贏余 ) @enduml @startuml () "Σωκράτηςψεύτης" as Σωκράτης0 码力 | 147 页 | 1.85 MB | 1 年前3PlantUML 1.2019.4 Guía de Referencia del Lenguaje
participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del Lenguaje PlantUML (1.20190 码力 | 166 页 | 1.82 MB | 1 年前3PlantUML 1.2019.3 Guía de Referencia del Lenguaje
participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del Lenguaje PlantUML (1.20190 码力 | 158 页 | 1.72 MB | 1 年前3PlantUML 1.2019.2 Guía de Referencia del Lenguaje
participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del Lenguaje PlantUML (1.20190 码力 | 158 页 | 1.72 MB | 1 年前3PlantUML 1.2019.6 Guía de Referencia del Lenguaje
participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del Lenguaje PlantUML (1.20190 码力 | 172 页 | 1.91 MB | 1 年前3PlantUML 1.2019.9 Guía de Referencia del Lenguaje
participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del Lenguaje PlantUML (1.20190 码力 | 172 页 | 1.93 MB | 1 年前3PlantUML 1.2020.23 Guía de Referencia del Lenguaje
participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del Lenguaje PlantUML (1.20200 码力 | 305 页 | 3.11 MB | 1 年前3PlantUML 1.2020.22 Guía de Referencia del Lenguaje
participant "第二類" as B participant "最後一堂課" as 別的東西 使用者 -> A: 完成這項工作 activate A A -> B: 創建請求 activate B B -> 別的東西: 創建請求 activate 別的東西 別的東西 --> B: 這項工作完成 destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: usecaseBorderColor DarkSlateGray 使用者 << 人類 >> "主數據庫" as 數據庫 << 應用程式 >> (草創) << 一桿 >> "主数据燕" as (贏余) << 基本的 >> 使用者 -> (草創) 使用者 --> (贏余) 數據庫 --> (贏余) @enduml Guía de Referencia del Lenguaje PlantUML (1.20200 码力 | 293 页 | 3.02 MB | 1 年前3
共 14 条
- 1
- 2