Ozone：Hadoop 原生分布式对象存储 Spark大数据博客 - https://www.iteblog.com Ozone：Hadoop 原生分布式对象存储 Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接 口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个 砖，介绍Ozone的产生背景，主要架构和功能。 砖，介绍Ozone的产生背景，主要架构和功能。 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop 背景 HDFS是业界默认的大数据存储系统，在业界的大数据集群中有非常广泛的使用。HDFS集群有着 很高的稳定性，得益于它较简单的构架，集群也很容易扩展。业界包含几千个数据节点，保存上 百PB数据的集群也不鲜见。 HDFS通过把文件系统元数据全部加载到Name 以通过各种Federation技术来扩 展集群的节点规模， 但单个HDFS集群仍然没法很好的解决小文件的限制。 基于这些背景，Hadoop 社区推出了新的分布式存储系统 Ozone，从构架上解决这个问题。 Ozone的设计原则 Ozone 由一群对大规模Hadoop集群有着丰富运维和管理经验的工程师和构架师设计和实现。他 们对大数据有深刻的洞察力，清楚的了解HDFS的优缺点，这些洞察力自始自终影响了Ozone的设

(Ozone, Ratis, Hadoop) 10 © 2022 Cloudera, Inc. All rights reserved. HISTORICAL MILESTONES HDFS-7240 Hadoop feature branch First hadoop-ozone commit lands 2015 Jun HDDS-1 2018 Apr Hadoop sub-project sub-project Hadoop Distributed Data Store Ozone-1.0.0 Apache Ozone now a TLP Apache board establishes Apache Ozone as a top-level project 2020 Oct Cloudera GA Scale HDFS - 2x Initial Goal Storage Containers RocksDB to store the namespace) • HDDS – a distributed container management layer • Hadoop security model and Hadoop RPC OZONE BUCKET TYPES Ethan Rose Ozone PMC, committer 20 © 2022 Cloudera, Inc. All

Apache Ozone 的最近进展和实 践分享 刘岩 陈怡 2022.07.29 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 ⼤数据存储的需求 能否提供⾼并发读取和写⼊ 是否兼容主流API，如HDFS/S3 是否需要⼀个新的⼤数据存储？ 现有的对象存储⽅案 ⽆法很好的横向扩展 HDFS的扩展性 达到了上限 ⽆法接受私有化 的数据存储系统 公有云的对象存储服务 ⽆法在线下部署 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache --endpoint http://localhost:9878 s3://buckettest ozone cli ozone sh volume create /vol1 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache

Manager Recon Foreground Background No background load Datanode Datanode Datanode hadoop-hdds hadoop-ozone Scale out No foreground load Why does Ozone Scale? Aggregation via containers Chunks startup based on size High Availability Active - Active Active - Standby Protocol Support Hadoop / S3 API Hadoop API Small objects are welcome Max performance reached at object size around 10-20 MB

Cloudera ❏ Apache Software Foundation Member ❏ More than 10 years with Apache Projects. ❏ Apache Hadoop Project Management Committee(PMC) Member ❏ Apache Ozone PMC Member ❏ Apache Incubator PMC ❏ Mentored