稳定性，频繁open/close⾮RocksDB的推荐⽤法，容易触发潜在问 题 解决办法 - 合并Container RocksDB实例 19 新⽅案 每个盘上所有Container共⽤⼀个RocksDB实例 保存元数据(V3) 好处 I. 磁盘空间，容易估算RocksDB的磁盘使⽤量上限 II. 内存开销，所有RocksDB实例可Cache在内存 III. 性能影响，DN运⾏期间⽆需create/open/close实例 SD盘 II. 兼容性 I. 当前运⾏的Ozone系统可能已存在⼤量数据，考虑到升级时间，Ozone不⽀持在升级时将V1/V2转换成V3 II. 所有V1 & V2 Container 数据在升级后仍然可以访问 III.新的数据将以V3 的形式保存(在V3 开启的情况下) III.⼀个RocksDB是否⾜够保存所有单盘Container的元数据？ 举例, • 16TB HDD，⼤⽂件场景，数据块平均⼤⼩128MB，总共 极⼩⽂件场景，数据块平均1KB, 总共 16 billion 数据块 有挑战! 21 Micro Benchmark Container 数量上升 I. V2 性能明显下降 II. V3 性能波动不⼤(除Container删除操作） Single node(96C 250G), 10 disks(3TB) 100K Contianer Ops Time(ms) (Lower

的推荐⽤法， 容易触发潜在问题 解决办法 - 单盘单RocksDB实例 单盘单RocksDB实例 • 除了Container的删除，其他操作V3都要⽐V2有数量级的提升 • 随着单盘Container数量的增多，V2的各操作性能出现下降，⽽V3性能基本没有变化 8千 vs 10万 Container 操作时间(毫秒) (柱⼦越低越好) 0 100 200 300 400 Create 144.4 254 V28K Container V2100K Container V38K Container V3100K Container V2 – RocksDB/Container V3 – RocksDB/盘 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展

Consistent State 1 App Consistent State 2 Row- Object-1 - v5 Row- Object-3 - v15 Table Object 1 - v3 Row- Object-2 - v15 Row- Object-1 - v10 Row- Object-3 - v20 App Inconsistent State Table Object