Alibaba Cloud MaxCompute 解决方案 6 1 概要 Hadoop 在企业构建第一代大数据平台中成为主流的技术框架，但是随着企业信息化的高 速发展，在数字化、智能化的转型过程中，Hadoop 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及，越来越多的企业 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据进 行长 MLib/ML、Tensorflow 等。  分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问，利用 Hbase 实现低延迟的在线服务等  分析与报表：对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。  数据作业编排：将多个数据处理动作

故障域的隔离：比如副本的放置分布在不同机器，不同机架，或是不同的交换机下面。 2. 隔离和共享：不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离，server不能跨 Pool交互。运维上，建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元，一般来说属于不同zone的机 器至少是部署在不同的机架，一个server必须归属于一个 zone。 ，以实现统一存储系统的需求，即在单个存储系统中多副 本PageFile支持块设备、三副本AppendFile（待开发）支持在线对象存储、AppendECFile（待开发）支持 近线对象存储可以共存。 如上所示LogicalPool与pool为多对一的关系，一个物理pool可以存放各种类型的file。当然由于curve支持 多个pool，可以选择一个logicalPool独享一个pool。 模块进行均衡及配置变更的依据 • 通过chunkserver定期上报copyset的copyset的epoch， 检测chunkserver的copyset与mds差异，同 步两者的copyset信息 • 支持配置变更功能，在心跳回复报文中下发mds发起的配置变更命令，并在后续心跳中获取配置 变更进度。HEARTBEAT MDS端：mds 端的心跳主要由三个部分组成： • TopoUpdater: 根据

的 東 西 B --> A: 請 求 創 建 deactivate B A --> 使用 者 : 做完 deactivate A @enduml @startuml (*) --> " 膩 平台 " --> === S1 === --> 鞠 躬 向 公 眾 --> === S2 === --> 這 傢 伙 波 武 器 --> (*) skinparam backgroundColor #AAFFFF

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.4) 149 / 165 20.1 Examples 20 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.3) 142 / 157 18.1 Examples 18 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.2) 142 / 157 18.1 Examples 18 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.6) 155 / 171 20.1 Examples 20 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.9) 155 / 171 20.1 Examples 20 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2020.23) 282 / 304 21.1 Examples 21 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2020.22) 270 / 292 21.1 Examples 21 UNICODE