占用内存 [atguigu@hadoop102 ~]$ jps 3088 NodeManager 2611 NameNode 3271 JobHistoryServer 2744 DataNode 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java 0MB) （3）查看 DataNode 占用内存 [atguigu@hadoop102 ~]$ jmap -heap 2744 Heap Configuration: MaxHeapSize = 1031798784 (984.0MB) 查看发现 hadoop102 上的 NameNode 和 DataNode 占用内存都是自动分配的，且相等。 具体修改：hadoop-env.sh export HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS - Xmx1024m" export HDFS_DATANODE_OPTS="-Dhadoop.security.logger=ERROR,RFAS -Xmx1024m" 尚硅谷大数据技术之 Hadoop（生产调优手册）

concerns Ozone Manager Ozone Client Datanode Storage Container Manager Recon Foreground Background No background load Datanode Datanode Datanode hadoop-hdds hadoop-ozone Scale out No to preserve simplicity of IO path. Ozone scales! Does background scale up and scale out? • Datanode count can scale beyond HDFS • No memory pressure on OM due to block reports/object counts/heap Much higher density per Datanode than HDFS Datanode scales out and scale up • Testbed used: • ~400 TB/Datanode • Tested with 200k containers per datanode => 1 PB per datanode. • Cisco UCS M6 • Capacity

https://www.iteblog.com 构架 Ozone 从结构上分为三个部分，Ozone Manager, 元数据管理；Storage Container Manager， 数据块和节点管理；Datanode， 数据最终的存放处。类比 HDFS 的构架， 可以看到原来 Namenode 的功能，现在由 Ozone Manager 和 Storage Container Manage 分别进行管理了。接下来，我们仔细看一下 Manager 通信，并不直接和 Datanode 通信。 Storage Container Manager(SCM) 类似HDFS中的Block Manager，管理 Container, Pipelines 和 Datanode，为 Ozone Manager 提供Block 和 Container 的操作和信息。SCM也监听 Datanode 发来的心跳信息，作为Datanode manager的角色 _hadoop Datanode Datanode 是 Ozone 的数据节点，以 Container 为基本存储单元，维护每个 Container 内部的数据映射关系，定时向 SCM 发送心跳节点，汇报节点的信息，管理的 Container 的信息，Pipeline 的信息。当一个 Container Size 超过预定的大小 90% 时 或者写操作失败时，Datanode 会发送 Container

HDFS，是一个分布式文件系统。 HDFS架构概述 1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。 2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。 3）Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份。 1.5.2 ReduceTask hadoop102 hadoop103 hadoop104 NameNode ResourceManager DataNode bobo.avi ss1505_wuma.a vi DataNode ss.avi yangge.avi DataNode ss1505_wuma.a vi Container MapTask SecondaryNa meNode 1 de 配置在 同一台机器上。 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 2）配置文件说明

Transaction Handling Storage XL Coordinator Parser Planner Executor “Metadata” Storage XL Datanode Executor Storage Postgres Conference China 2016 中国用户大会 Postgres-XL Technology • Users connect Proc 2 GTM Postgres Conference China 2016 中国用户大会 GTM Proxy • Runs alongside Coordinator or Datanode • Backends use it instead of GTM • Groups requests together • Obtain range of transaction ids (XIDs) read mainly tables • Sometimes good for dimension tables in data warehousing • If coordinator and datanode are colocated, local read occurs • Bad for write-heavy tables • Each row is replicated to all

1. OM – 管理Ozone的Namespace ，也使⽤了RocksDB 2. SCM – 管理Ozone集群和数据 3. Recon Server – 监控Ozone集群 4. DataNode – 负责存储和汇报Storage Containers 5. Storage Containers – Ozone的存储单元，内置有RocksDB 数据库 Apache Ozone – Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 实践⼀ Datanode Ozone Ozone Manager SCM Datanode Datanode Datanode …… S3 Gateway OzoneFS (Hadoop Compatible File System) S3 Compatible FUSE Driver) S3 ⽤户数据 ⽤户数据 实践⼆ Datanode Ozone Ozone Manager SCM Datanode Datanode …… S3 Gateway FS FS HDFS Namenode Datanode Datanode Datanode ⼩⽂件 ⼩⽂件 ⼤数据应⽤ Thank You

rights reserved. Ozone Manager Ozone Client Datanode Storage Container Manager Recon Foreground Background No background load Datanode Datanode Datanode hadoop-hdds hadoop-ozone Scale Out No Datanodes certified against ~0.5 Petabyte capacity nodes • Cisco UCS M6: 256 TB per datanode • Cisco UCS S3260: 384 TB per datanode – Datanodes simulated against 1 Petabyte capacity nodes (200k containers) Inc. All rights reserved. INVESTING INTO PERFORMANCE Upcoming releases are performance focused • Datanode - saturating the network – RATIS streaming • Efficient data path with rack awareness • Zero copy

......................................................................... 7 3.2 启动 NAMENODE 和 DATANODE 守护进程 ................................................... 7 3.3 启动 RESOURCEMANAGER 和 NODEMANAGER 架构。一个 HDFS 集群包含一个单独的 NameNode 和多个 DataNode。 NameNode 作为 master 服务，它负责管理文件系统的命名空间和客户端对文 件的访问。NameNode 会保存文件系统的具体信息，包括文件信息、文件被分割 成具体 block 块的信息、以及每一个 block 块归属的 DataNode 的信息。对于整个 集群来说，HDFS 通过 NameNode NameNode 对用户提供了一个单一的命名空间。 DataNode 作为 slave 服务，在集群中可以存在多个。通常每一个 DataNode 都对应于一个物理节点。DataNode 负责管理节点上它们拥有的存储，它将存储划 分为多个 block 块，管理 block 块信息，同时周期性的将其所有的 block 块信息发 送给 NameNode。 1.5 MapReduce 介绍 MapReduce

2.2 WebHDFS WebHDFS提供HDFS的RESTful接⼝，可通过此接⼝进⾏HDFS⽂件操作。使⽤WebHDFS时，客⼾端是先通过Namenode节点获取⽂件所在的Datanode地址，再通过与Datanode节点 进⾏数据交互。 2.2.1 上传⽂件 上传⽂件 UHadoop集群默认配置2个Master节点，同⼀时刻只有⼀个节点Namenode处于Active状态，另⼀个处于S state standby，请更换uhadoop-******-master2尝试 执⾏上述命令将获取到Location地址，即⽂件的Datanode地址 HTTP/1.1 307 TEMPORARY_REDIRECT Location: http://<DATANODE>:/webhdfs/v1/?op=CREATE... Content-Length: 0 使⽤上述Location地址上传⽂件 webhdfs/v1/tmp/uhadoop.txt?op=APPEND" 执⾏上述命令将获取到Location地址，即⽂件的Datanode地址 HTTP/1.1 307 TEMPORARY_REDIRECT Location: http://<DATANODE>:/webhdfs/v1/?op=CREATE... Content-Length: 0 追加⽂件

… … app-n RPC DataNode NameNode MetaStore Controller manager Scheduler RPC app-1 Data1 Partition0 Data2 Partition2 DataN PartitionM … … app-2 … … app-n RPC DataNode 基于位图的分布式计算引擎 API API Server Scheduler SQL-Parser QueryOptimier Column1 DataNode Column2 Column3 ColumnN Column1 DataNode Column2 Column3 ColumnN bitmap 画像下钻分布式计算引擎 多维 提取 iData大数据分析引擎 分布式多维计算引擎 基于位图索引和行式内容存储 Execution Plan Bitcode Emitter Scheduler Block 1 Block 2 Block … DataNode-2 Block 1 Block 2 Block … DataNode-3 DataNode-1 指标计算平台 Ø 分布式计算 • 并行计算 Ø 列式存储 • 按需加载减少IO • 可支持大量列 Ø 动态位图索引 •