（作者：尚硅谷大数据研发部） 版本：V3.3 第 1 章 Hadoop 概述 1.1 Hadoop 是什么 Hadoop是什么 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 1.2 Hadoop 发展历史（了解） Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优 化升级，查询引擎和索引引擎。 Hadoop创始人Doug Cutting 2）2001年年底Lucene成为Apache基金会的一个子项目。 3）对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢。 4）学习和模仿Google解决这些问题的办法 ：微型版Nutch。 5 Cutting等人用 了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。 7）2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。 8）2006 年 3 月份，Map-Reduce和Nutch Distributed File System （NDFS）分别被纳入到 Hadoop 项目 中，Hadoop就此正式诞生，标志着大数据时代来临。

2-server-sp2-2000-19050910.Z1 内核版本 4.4.131 hadoop 版本 2.7.7 1.3 Hadoop 软件简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在 不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高 速运算和存储。 Hadoop 实现了一个分布式文件系统（Hadoop Distributed

.............. 6 2 阿里云大数据与开源生态对比 .................................................................................................................. 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ................ ....................................................................................... 7 2.1.2 开源大数据组件架构 ........................................................................................... Alibaba Cloud MaxCompute 解决方案 7 2 阿里云大数据与开源生态对比 2.1 Hadoop 及开源生态与阿里云大数据生态对比 2.1.1 主流大数据体系架构 Hadoop 及开源生态由一系列的开源组件共同组成，很多用户基于 Hadoop 及开源生态组件构 建企业数据仓库/数据湖、机器学习、实时分析、BI 报表等大数据应用。我们常见的大数据架构

品广告、互 联网市场数据和实验平台的架构设计。负责领导使用Hadoop、 Spark、Kafka、Cassandra等开源大数据顷目建立ebay的广告和数 据平台。 • 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的 开源贡献、基于Intel平台的开源顷目优化以及一些基于Spark的大 规模机器／深度学习顷目。 • 超过9年的互联网、云计算、大数据的工作经验。 概要

适合本地高速写入 分布式聚合计算，避免大数据传输 英特尔Hadoop发行版 – 主要特色 经实际验证的企业级 Hadoop 发行版 •全面测试的企业级发行版，保证长期稳定运行，集成最新开源的和自行开发的补丁，用户可以及时修正漏洞保证各个部件乊间的一致性，使应用顺滑运行 实时数据处理的分布式大数据应用平台 •通过对 HBase 迚行改迚和创新，英特尔 Hadoop 发行版提供实 、计算存储分布更均衡，系统安装程序计算得出的优化参数配置，适合大多数 应用情冴，不硬件技术相结合，提高平台性能 提供企业必须的管理和监控功能 •提供独有的基亍浏览器的集群安装和管理界面，解决开源版本管理困难的问题，提供网页、邮件方式的系统异常报警 性能评测工具：Intel HiBench HiBench Micro Benchmarks Web Search

统一服务 资源管理(YARN) 存储 结构化 集成 图 1-5 1.4.2 数据集成与 Hadoop 数据集成是 Hadoop 解决方案架构的关键步骤。许多供应商利 用开源的集成工具在无须编写代码的情况下即可轻松地将 Apache Hadoop 连接到数百种数据系统。如果你的职业不是程序员或开发人 员，那么这点对你来说无疑是使用 Hadoop 的加分项。大多数供应 Hadoop 的功能。 当涉及数据时，Hadoop 已经从长远角度考虑了自身的设计。它 非常适用，因为数据会随着时间持续增长。它使用已存在的企业系 统，而这些系统可扩展为 Hadoop 数据平台。公司和开源社区中的 开发人员正在设计和定义基于 Hadoop 的大规模企业数据的最佳实 践。企业以及 IT 社区都非常关注各种数据类型的可扩展性。使用 Hadoop，公司便不再局限于昂贵的企业级解决方案或者价格不菲的

大数据集成与 Hadoop 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进 大数据措施的经济性和活力，这样不仅有助于削减成本、增加 收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 并可根据需求变化从单一服务器扩展到数以千计的服务器。主 要的Hadoop组件包括Hadoop Distributed File 测量结果由IBM现场进行客户部署时生成。 3 International Technology Group。“企业数据集成战略业务案例：IBM InfoSphere Information Server与开源工具比较。”2013年2月。ibm. com/common/ssi/cgi-bin/ ssialias?infotype=PM&subtype=XB&htmlfid =IME14019USEN 4

跨节点分布式计算模型 • HDFS (Hadoop Distributed File System) - 跨节点的分布式文件系统 Hadoop Ecosystem 11 Spark Spark是一个流行的开源集群计算框架 • 并行计算引擎 • 使用广义的计算模型 • 基于内存进行计算（内存计算） Spark Core (Batch Processing) 12 MATLAB与Hadoop datastore

Spark 简介以及与 Hadoop 的对比 1 Spark 简介 1.1 Spark 概述 Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算框 架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的 优点；但不同于 MapReduce 的是 Job