报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 MaxCompute 产品组件 特性介绍 数据存储 MaxCompute 表 (基于盘古分布式存储) MaxCompute 支持大规模计算存储，适用于 TB 以上规 模的存储及计算需求，最大可达 EB 级别。同一个 MaxCompute 项目支持企业从创业团队发展到独角兽的 数据规模需求； 数据分布式存储，多副本冗余，数据存储对外仅开放表的 操作接口，不提供文件系统访问接口 自研 PAI 提供了深度学习框架、Notebook 开发 环境、GPU 计算资源、模型在线部署的弹性预测服务。 MaxCompute 的数据对 PAI 产品无缝集成。 存储 Pangu 阿里自研分布式存储服务，类似 HDFS。MaxCompute 对外目前只暴露表接口，不能直接访问文件系统。 Alibaba Cloud MaxCompute 解决方案 15 资源调度 Fuxi

Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： https://github CopySet的粒度进行探活、配置变更，降低 开销。 3. 提高数据可靠性：在数据复制组过度打散的情况下，在发生多个节点同时故障的情况下，数据的可靠性会受 到影响。引入CopySet，可提高分布式存储系统中的数据持久性，降低数据丢失的概率。COPYSET ChunkServer，Copyset和Chunk三者之间的关系如下图： Mds在分配空间时，轮流在不同的copyset中分配，每次从copyset中分配1个chunk， 心跳正常 超过miss时间 未超过offline时间 UNSTABLE ONLINE OFFLINESCHEDULE Schedule（系统调度）是为了实现系统的自动容错和负载均衡，这两个功能是分布式 存储系统的核心问题，也是 curve 是否能上生产环境的决定因素之一。 • 自动容错保证常见异常（如坏盘、机器宕机）导致的数据丢失不依赖人工处理，可 以自动修复。 • 负载均衡和资源均衡保