Alibaba Cloud MaxCompute 解决方案 6 1 概要 Hadoop 在企业构建第一代大数据平台中成为主流的技术框架，但是随着企业信息化的高 速发展，在数字化、智能化的转型过程中，Hadoop 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及，越来越多的企业 析、BI 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据 对象 供后 续使 用。如 Hive、 MapReduce、Spark 等。 Alibaba Cloud MaxCompute 解决方案 8  实时消息采集：用于实时数据采集，可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理：对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习：满足机器学习工作负载的服务。如当前流行的

Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： https://github CopySet的粒度进行探活、配置变更，降低 开销。 3. 提高数据可靠性：在数据复制组过度打散的情况下，在发生多个节点同时故障的情况下，数据的可靠性会受 到影响。引入CopySet，可提高分布式存储系统中的数据持久性，降低数据丢失的概率。COPYSET ChunkServer，Copyset和Chunk三者之间的关系如下图： Mds在分配空间时，轮流在不同的copyset中分配，每次从copyset中分配1个chunk， 心跳正常 超过miss时间 未超过offline时间 UNSTABLE ONLINE OFFLINESCHEDULE Schedule（系统调度）是为了实现系统的自动容错和负载均衡，这两个功能是分布式 存储系统的核心问题，也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常（如坏盘、机器宕机）导致的数据丢失不依赖人工处理，可 以自动修复。 • 负载均衡和资源均衡保

的 東 西 B --> A: 請 求 創 建 deactivate B A --> 使用 者 : 做完 deactivate A @enduml @startuml (*) --> " 膩 平台 " --> === S1 === --> 鞠 躬 向 公 眾 --> === S2 === --> 這 傢 伙 波 武 器 --> (*) skinparam backgroundColor #AAFFFF

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.4) 149 / 165 20.1 Examples 20 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.3) 142 / 157 18.1 Examples 18 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.2) 142 / 157 18.1 Examples 18 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.6) 155 / 171 20.1 Examples 20 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2019.9) 155 / 171 20.1 Examples 20 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2020.23) 282 / 304 21.1 Examples 21 UNICODE

destroy 別的東西 B --> A: 請求創建 deactivate B A --> 使用者: 做完 deactivate A @enduml @startuml (*) --> "膩平台" --> === S1 === Guía de Referencia del Lenguaje PlantUML (1.2020.22) 270 / 292 21.1 Examples 21 UNICODE