together.” “The reality: Hybrid cloud is the de facto model.” / 51 4 Confidential—Restricted / 51 CLOUDERA DATA PLATFORM The only hybrid data platform for modern data architectures with data anywhere write and run enterprise applications and workloads at scale as often as possible. 8 © 2022 Cloudera, Inc. All rights reserved. MEETUP AGENDA ● History and Overview (Sid Wagle) ● Ozone bucket types A BRIEF HISTORY OF OZONE Siddharth (Sid) Wagle PMC, committer (Ozone, Ratis, Hadoop) 10 © 2022 Cloudera, Inc. All rights reserved. HISTORICAL MILESTONES HDFS-7240 Hadoop feature branch First hadoop-ozone

稱為 Hadoop Hadoop 是 Doug 兒子黃色大象 玩偶的名稱 2008-01 Apache 的 Top- Level Project 2009-09 Doug Cutting 加入 Cloudera 擔任 Architect 2011-06 Yahoo! 內部的 Hadoop 團隊 Spin Off 成立 Hortonworks Hadoop 簡史 5 / 74 The Apache 都可以無縫接軌 36 / 74 Hive 改造成果 - SQL Compatibility 現在也支援 Role、Privilege 與 Grant、Revoke 37 / 74 Sqoop Cloudera 主導 整合 Hadoop 裡頭的資料跟 RDBMS 裡頭的資料 透過 JDBC 與 MapReduce 進行彼此的資料轉換 38 / 74 不論是人數或顏色，實在都很難分辨。 Hadoop 所以，市面上就有了一堆大同小異的 Hadoop Distribution： Cloudera 有 Cloudera Distribution for Hadoop (CDH) Oracle 有 Oracle Big Data Appliance Intel 以前有 Intel Distribution for Hadoop (IDH)，現在是直接與 Cloudera 合作 Hortonworks 有 Hortonworks

Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。 Apache 版本最原始（最基础）的版本，对于入门学习最好。2006 Cloudera 内部集成了很多大数据框架，对应产品 CDH。2008 Hortonworks 文档较好，对应产品 HDP。2011 Hortonworks 现在已经被 Cloudera 公司收购，推出新的品牌 CDP。 2）Cloudera Hadoop 官网地址：https://www.cloudera.com/downloads/cdh 下载地址：https://docs.cloudera.com/documentation/enterprise/6/release- notes/topics/rg_cdh_6_download.html （1）2008 年成立的 Cloudera 是最早将 Cutting 也加盟 Cloudera 公司。Cloudera 产品主 要为 CDH，Cloudera Manager，Cloudera Support （3）CDH 是 Cloudera 的 Hadoop 发行版，完全开源，比 Apache Hadoop 在兼容性，安 全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。 （4）Cloudera Manager

Postgres Conference China 2016 中国用户大会 HBase最佳实践及优化 陈飚 cb@cloudera.com Cloudera Postgres Conference China 2016 中国用户大会 关于我… 陈飚 Cloudera售前技术经理、资深方案架构师 http://biaobean.pro 原Intel Hadoop发行版核心开发人员, 成功实施并运维多 不建议HBase的堆大小操作操过64GB，否则GC压 力大、执行时间太长 https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbase http://blog.cloudera.com/blog/2014/12/tuning-java-garbage-collection-for-hbase/ Postgres Conference China 2016 中国用户大会 Scanner • 使用异步调用接口 – AsyncClient • 使用数据预取以及预缓存 Postgres Conference China 2016 中国用户大会 Thanks! @Cloudera中国 @陈飚

被视为一个生态系统，因为它创造了一个数据社区，将 第 1 章 Hadoop 概述 11 Hadoop 和其他工具汇集在一起。 Cloudera(CDH)为其数据平台创建了一个类似的生态系统。 Cloudera 为集成结构化和非结构化的数据创造了条件。通过使用平 台交付的统一服务，Cloudera 开启了处理和分析多种不同数据类型 的大门(见图 1-5)。 处理、分析和服务 安全 文件系统 (HDFS) 以决定最优解决方案。数据平台或者数据管理平台正如其名。它是 一个集中式计算系统，用于收集、集成和管理大型结构化和非结构 化数据集。 从理论上讲，无论 HortonWorks，还是 Cloudera，均是可供选 择的平台，包括用于与现有数据环境和 Hadoop 一起工作的 RDBMS 连接器。大多数供应商均有关于系统需求的详细信息。一般来说， 大量工具都会提到 Windows 操作系统或者基于 通过将数据管理服务集成为更大的数据湖，企业可以利用各种各样 的渠道来存储和处理大量数据，这些渠道包括社交媒体、点击流数 据、服务器日志、客户交易与交互、视频以及来自现场设备的传感 器数据。 Hortonworks 或者 Cloudera 数据平台，以及 Informatica，使得 企业能够优化 ETL(抽取、转换、加载)工作流程，以便在 Hadoop 中长期存储和处理大规模数据。 Hadoop 与企业工具的集成使得组织能够将内部和外部的所有数

Gangumalla Sr. Engineering Manager, Cloudera Inc Stephen O’Donnell Sr. Staff Software Engineer, Cloudera Inc @UmaMaheswaraG Who Am I? ❏ Sr. Engineering Manager at Cloudera ❏ Apache Software Foundation Member https://issues.apache.org/jira/projects/HDDS Thanks Q&A umamahesh@apache.org | umagangumalla@cloudera.com Twitter: @UmamaheswaraG

早已平息，很多技术分析师纷纷总结采用世界级数据集成软 件将会实现的巨大ROI优势3。 “如有疑问，请尽可能使用更高级的工 具。” —“Large-Scale ETL With Hadoop”，Eric Sammer（Cloudera 首 席解决方案架构师）于 Strata+Hadoop World 2012 期间所做的演示4 第一项最佳实践是随时随地避免在大数据集成的各个层面采 用手动编码。相反，利用商业数据集成软件提供的图形用户界 =IME14019USEN 4 “Large-Scale ETL With Hadoop”，Eric Sammer（Cloudera首席解 决方案架构师）于Strata+Hadoop World 2012期间所做的演示。www. cloudera.com/content/cloudera/en/resources/library/hadoopworld/ strata-hadoop-world-2

Started With Hive JDBC 5. Getting Started With Kyuubi and DataGrip 6. Getting Started with Kyuubi and Cloudera Hue Deploying Kyuubi Basics Configurations Security 1. Authentication 2. Kinit Auxiliary Service Configurations 5.4. Interacting With Kyuubi Server 5.5. The End 6. Getting Started with Kyuubi and Cloudera Hue 6.1. What is Hue 6.2. Preparation 6.3. Run Hue in Docker 6.4. For CDH 6.x Users 1. Getting just the tip of the iceberg. The rest is for you to discover. 6. Getting Started with Kyuubi and Cloudera Hue 6.1. What is Hue Hue [https://gethue.com/] is an open source SQL Assistant for Databases &

Started With Hive JDBC 5. Getting Started With Kyuubi and DataGrip 6. Getting Started with Kyuubi and Cloudera Hue Deploying Kyuubi Basics Configurations Security 1. Authentication 2. Kinit Auxiliary Service Configurations 5.4. Interacting With Kyuubi Server 5.5. The End 6. Getting Started with Kyuubi and Cloudera Hue 6.1. What is Hue 6.2. Preparation 6.3. Run Hue in Docker 6.4. For CDH 6.x Users 1. Getting just the tip of the iceberg. The rest is for you to discover. 6. Getting Started with Kyuubi and Cloudera Hue 6.1. What is Hue Hue [https://gethue.com/] is an open source SQL Assistant for Databases &

Started With Hive JDBC 6. Getting Started With Kyuubi and DataGrip 7. Getting Started with Kyuubi and Cloudera Hue Deploying Kyuubi Basics Configurations Engines Security 1. Authentication 2. Kinit Auxiliary Configurations 6.4. Interacting With Kyuubi Server 6.5. The End 7. Getting Started with Kyuubi and Cloudera Hue 7.1. What is Hue 7.2. Preparation 7.3. Run Hue in Docker 7.4. For CDH 6.x Users 1. Getting just the tip of the iceberg. The rest is for you to discover. 7. Getting Started with Kyuubi and Cloudera Hue 7.1. What is Hue Hue [https://gethue.com/] is an open source SQL Assistant for Databases &