IBM软件 2014 年 9 月 大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践 2 大数据集成与 Hadoop 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进 大数据措施的经济性和活力，这样不仅有助于削减成本、增加 收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 精力用于数据集成，只有20%的精力投入 到数据分析中。” —Intel Corporation，“使用 Apache Hadoop 抽取、转换和加载大数据”1 有效的大数据集成解决方案可实现简便性、高速度、可扩展 性、功能和治理，从Hadoop沼泽中生成可使用的数据。没有 有效的集成，势必形成“垃圾进垃圾出”的情况－这不是出色 的受信任数据使用方法，更谈不上准确完整的洞察或转型 成果。 采用计划，必须遵循最佳实践方法，充分考虑各种新兴技术、可 扩展性需求以及当前的资源和技能水平。面临的挑战：创建最佳 的大数据集成方法和架构，同时避免各种实施缺陷。 海量数据可扩展性：总体要求 如果您的大数据集成解决方案无法支持海量数据可扩展性， 那么很可能无法达到预期的效果。为发挥大数据措施的整体 业务价值，对于大部分Hadoop项目的大数据集成而言，海 量数据可扩展性是必不可少的。海量数据可扩展性意味着对 处理的数

是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当涉及数据时，企业中最大的需求便是可扩展能力。科技和 商业促使各种组织收集越来越多的数据，而这也增加了高效管理这 些数据的需求。本章探讨 Hadoop Stack，以及所有可与 Hadoop 一 起使用的相关组件。 在构建 Hadoop Stack 的过程中，每个组件都在平台中扮演着重 要角色。软件栈始于 分布式文件系统，或者说 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 ZooKeeper 是另一个 Hadoop Stack 组件，它能通过共享层次名 允许其用 户处理存储于 HDFS 上不限数量的任意类型的数据。因此，MapReduce 让 Hadoop 成为了一款强大工具。 在 Hadoop 最近的发展中，另有一款称为 YARN 的组件已经可 用于进一步管理 Hadoop 生态系统。 1.1.4 YARN 是什么 YARN 基础设施(另一个资源协调器)是一项用于提供执行应用 程序所需的计算资源(内存、CPU 等)的框架。

尚硅谷大数据技术之 Hadoop（入门） ————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 尚硅谷大数据技术之 Hadoop（入门） （作者：尚硅谷大数据研发部） 版本：V3.3 第 1 章 Hadoop 概述 1.1 Hadoop 是什么 Hadoop是什么 尚硅谷大数据技术之 Hadoop（入门） ————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 Hadoop发展历史 6）2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用 了2年业余时间实现了 尚硅谷大数据技术之 Hadoop（入门） ————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 官网地址：http://hadoop.apache.org 下载地址：https://hadoop.apache.org/releases.html 2）Cloudera

特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述 服务器型号 长城信安擎天 DF720 服务器 CPU 类型 飞腾 2000+处理器

 劢态资源配置  容器资源的劢态调整  资源隔离  调度的增强  YARN的Web页面的增强 • MapReduce YARN Timeline Service v.2 • 扩展性 分布式读写 读写分离 HBase存储 YARN Timeline Service v.2 • 可用性 流(flow) 聚合(aggregation) YARN Federation •

尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 尚硅谷大数据技术之 Hadoop（生产调优手 册） （作者：尚硅谷大数据研发部） 版本：V3.3 第 1 章 HDFS—核心参数 1.1 NameNode 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 3579 Jps [atguigu@hadoop102 ~]$ jmap -heap 2611 Heap Configuration: MaxHeapSize 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 1.2 NameNode 心跳并发配置 1）hdfs-site.xml The number of Namenode RPC server threads that

会使产品偏离已经发布的技术规范。英特尔提供最新的勘误表备索。 订购产品前，请联系您当地的英特尔销售办事处戒分销商，了解最新技术规范。 如欲获得本文戒其它英特尔文献中提及的带订单编号的文档副本，可致电 1-800-548-4725，戒访问http：//www.intel.com/design/literature.htm 性能测试和等级评定均使用特定的计算 机系统和/戒组件迚行测量，这些测试大致反映了英特尔® 面向大数据应用，在计算、存储和网络方面提供更快更为 高效的架构级别的优化方案 • 持续投入大数据应用开发，促迚软件系统和服务的丌断优 化和创新 • 推迚终端设备和传感器的智能化，构建亏联、可管理的和 安全的分布式架构 软硬结合 Intel Hadoop商业发行版 优化的大数据处理软件栈 稳定的企业级hadoop发行版 利用硬件新技术迚行优化 H • 去除了MapReduce的overhead，大大减少了数据传输 • 性能有3X~10X的提升 HBase的性能优化 预分配region 启用压缩已减少HDFS数据量，可提高读性能 Region Server迚程配置大内存（>16G） 每个Region Server拥有的region数量<300 优化表结构设计，防止少数几个region成为瓶颈 • 一个简单的经验公式：每台region

对象 供后 续使 用。如 Hive、 MapReduce、Spark 等。 Alibaba Cloud MaxCompute 解决方案 8  实时消息采集：用于实时数据采集，可扩展、高吞吐、可靠的消息服务。如 Kafka。  流处理：对实时数据进行低延迟流式计算的服务。如 Flink、Spark Streaming、Storm 等。  机器学习：满足机器学习工作负载的服务。如当前流行的 不支持，需迁移至阿里云实时计算、EMR 流计算 组件或自建流计算服务 存储 HDFS/Hive 数据存储 MaxCompute Table,MaxCompute 不提供文件服 务，非结构化数据可迁移至 OSS，通过 MaxCompute 外表或 MaxCompute Spark 进行处理 分析 数据集成 Sqoop Kettle Datawroks 数据集成 编排&调度 Alibaba Cloud MaxCompute 解决方案 18 存储 HDFS/Hive 数据存储 MaxCompute Table,MaxCompute 不提供文件服 务，非结构化数据可迁移至 OSS，通过 MaxCompute 外表或 MaxCompute Spark 进行处 理分析 数据集成 Sqoop Kettle Datawroks 数据集成 编排&调度

是对分布式内存的抽象使用，实现了以操作本地集合的方式 来操作分布式数据集的抽象实现。RDD 是 Spark 最核心的东西，它表示已被分区，不可变的 并能够被并行操作的数据集合，不同的数据集格式对应不同的 RDD 实现。RDD 必须是可序 列化的。RDD 可以 cache 到内存中，每次对 RDD 数据集的操作之后的结果，都可以存放到 内存中，下一个操作可以直接从内存中输入，省去了 MapReduce 大量的磁盘 IO 操作。这对