1 © 2015 The MathWorks, Inc. MATLAB与Spark/Hadoop相集成：实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 大数据带来的挑战 ▪ 传统的工具和方法不能有效工作 – 访问和处理数据变得困难； – 需要学习使用新的工具和新的编程方式； – 不得不重写算法以应对数据规模的增大； ▪ 现有处理或计算方法下的结果质量受到影响 – 被迫只能处理一部分数据（数据子集）； – 采用新的工具或重写算法会对现有生产力产生影响； ▪ 数据处理与分析所需时间增长 – 数据规模增大、数据复杂度增加，增加处理难度和所需时间； 5 MATLAB的大数据处理 ▪ 使用方式等同于MATLAB 数组(array) – 支持数据类型包括数值型、字符串、时间类型、表等… – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归 7 tall array Single Machine Memory tall arrays ▪ 自动将数据分解成适合内存的小 “块”(chunk) ▪ 计算过程中，一次处理一个“块”(chunk)

Heap Configuration: MaxHeapSize = 1031798784 (984.0MB) 查看发现 hadoop102 上的 NameNode 和 DataNode 占用内存都是自动分配的，且相等。 不是很合理。 经验参考： https://docs.cloudera.com/documentation/enterprise/6/release- math >>> print int(20*math.log(3)) 21 >>> quit() 1.3 开启回收站配置 开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、 备份等作用。 1）回收站工作机制 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— interval = 0，0 表示禁用回收站；其他值表示设置文件的存活时间。 （2）默认值 fs.trash.checkpoint.interval = 0，检查回收站的间隔时间。如果该值为 0，则该 值设置和 fs.trash.interval 的参数值相等。 （3）要求 fs.trash.checkpoint.interval <= fs.trash.interval。 3）启用回收站 修改

的通用的并行计算框 架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的 优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，从而不再需要读 写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 map reduce 的算 法。 1.2 Spark 核心概念 1.2.1 RDD 中演变过来的。相比其它系统的细颗粒度的内存数据更新级别的 备份或者 LOG 机制，RDD 的 Lineage 记录的是粗颗粒度的特定数据转换（Transformation） 操作（filter, map, join etc.)行为。当这个 RDD 的部分分区数据丢失时，它可以通过 Lineage 获取足够的信息来重新运算和恢复丢失的数据分区。这种粗颗粒的数据模型，限制了 Spark 的运 Dependencies 是指子 RDD 的分区依赖于父 RDD 的多个分区或所有分区， 也就是说存在一个父 RDD 的一个分区对应一个子 RDD 的多个分区。对与 Wide Dependencies，这种计算的输入和输出在不同的节点上，lineage 方法对与输入节点完好， 而输出节点宕机时，通过重新计算，这种情况下，这种方法容错是有效的，否则无效，因为 无法重试，需要向上其祖先追溯看是否可以重试（这就是 l

构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 1.2 Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优 化升级，查询引擎和索引引擎。 Hadoop创始人Doug Cutting 2）2001年年底Lucene成为Apache基金会的一个子项目。 3）对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢。 4）学习和模仿Google解决这些问题的办法 ：微型版Nutch。 5）可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文） GFS --->HDFS Map-Reduce --->MR 6）2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用 了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。 7）2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。 8）2006 年 3 月份，Map-Reduce和Nutch Distributed File

Hadoop 3.0以及未来 刘 轶 自我简介 • Apache Hadoop的committer和顷目管理委员会成员。 • ebay的Paid IM(互联网市场)部门架构师，领导ebay产品广告、互 联网市场数据和实验平台的架构设计。负责领导使用Hadoop、 Spark、Kafka、Cassandra等开源大数据顷目建立ebay的广告和数 据平台。 • 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的 YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位 XOR编码: 1,0 需要额外的1位 HDFS纠错码(Erasure Coding) • Reed-Solomon (RS) 编码 数据可靠性和存储效率 • 数据可靠性：可以最多几个节点故障 • 存储效率：k/(k+m) 可靠性 存储效率 单副本 0 0 100% 3副本 2 33% XOR(6个数据单元) 1 86% RS(6,3) 3 67% RS(10,4) 4 71% 存储布局－连续和条状 小文件处理 并行IO 数据本地性 数据本地性 小文件处理 纠错码在分布式存储系统中 HDFS 性能 多个Standby Namenode Active NN Standby NN Standby NN DN DN DN

HDFS、MapReduce、YARN、ZooKeeper 和 Hive 的角色 ● Hadoop 与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当涉及数据时，企业中最大的需求便是可扩展能力。科技和 商业促使各种组织收集越来越多的数据，而这也增加了高效管理这 要角色。软件栈始于 Hadoop Common 中所包含的基础组件。Hadoop 1 第 章 Hadoop 大数据解决方案 2 Common 是常见工具和库的集合，用于支持其他 Hadoop 模块。和 其他软件栈一样，这些支持文件是一款成功实现的必要条件。而众 所周知的文件系统，Hadoop 分布式文件系统，或者说 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 (RDBMS)，但其仍能与 Oracle、MySQL 和 SQL Server 等系统一起 工作。这些系统都已经开发了用于对接 Hadoop 框架的连接组件。 我们将在本章介绍这些组件中的一部分，并且展示它们如何与 Hadoop 进行交互。 1.1 商业分析与大数据 商业分析通过统计和业务分析对数据进行研究。Hadoop 允许你 在其数据存储中进行业务分析。这些结果使得组织和公司能够做出 有利于自身的更好商业决策。

Hadoop技术通过支持新的流程和架构，不断改进 大数据措施的经济性和活力，这样不仅有助于削减成本、增加 收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 并可根据需求变化从单一服务器扩展到数以千计的服务器。主 要的Hadoop组件包括Hadoop Distributed File System （用于存储大型文件）和Hadoop分布式并行处理框架（称为 决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些 问题，才能安享各项优势，最大限度提高投资回报率 (ROI)。 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和 分析大数据方面实现了范式转变。无论是要更深入的分析，还是 希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都 可以通过这项技术一一实现，从而大幅降低成本并创造新的 收入。 依靠收集 能提供支持 Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发 精力用于数据集成，只有20%的精力投入 到数据分析中。” —Intel Corporation，“使用 Apache Hadoop 抽取、转换和加载大数据”1 有效的大数据集成解决方案可实现简便性、高速度、可扩展 性、功能和治理，从Hadoop沼泽中生成可使用的数据。没有 有效的

................................................................................. 28 6.3.3 数据、作业和 Pipeline 迁移评估 ..................................................................................... .................................................................................. 44 7.1.1 准备工具和环境 ................................................................................................. ....................................................... 49 7.1.7 运行 odps_ddl_runner.py 生成 odps 表和分区 .............................................................. 50 7.1.8 运行 hive_udtf_sql_runner

法律声明 本文所提供乊信息均不英特尔® 产品相关。本文丌代表英特尔公司戒其它机构向仸何人明确戒隐含地授予仸何知识产权。除相关产品的英特尔销售条款不条件中列明乊担保条件以外，英特 尔公司丌对销售和/戒使用英特尔产品做出其它仸何明确戒隐含的担保，包括对适用亍特定用途、适销性，戒丌侵犯仸何与利、版权戒其它知识产权的担保。 “关键业务应用”是挃当英特尔® 产品发生故障时，可能会直接戒间接地造成人 伤害戒死亡索赔中直接戒间接发生的所有索赔成本、损坏、费用以及合理的律师费丌会对英特尔及其子公司、分包商和分支机构，以及 相关的董事、管理人员和员工造成损害，无论英特尔及其分包商在英特尔产品戒其仸何部件的设计、制造戒警示环节是否出现疏忽大意的情冴。 英特尔可以随时在丌发布声明的情冴下修改规格和产品说明。设计者丌应信赖仸何英特产品所丌具有的特性，设计者亦丌应信赖仸何标有保留权利摂戒未定义摂说明戒特性描述。英特尔保 //www.intel.com/design/literature.htm 性能测试和等级评定均使用特定的计算 机系统和/戒组件迚行测量，这些测试大致反映了英特尔® 产品的性能。系统硬件、软件设计戒配置的仸何差异都可能影响实际性能。购买者应迚行多方咨询，以评估其考虑购买的系统戒组 件的性能。如欲了解有关性能测试和英特尔产品性能的更多信息，请访问:英特尔性能挃标评测局限 此处涉及的所有产品、计

............................... 7 3.2 启动 NAMENODE 和 DATANODE 守护进程 ................................................... 7 3.3 启动 RESOURCEMANAGER 和 NODEMANAGER 守护进程 .......................... 7 4 执行 处理、虚拟化等关键技术优势，针对关键业务构建的丰富高效、安全可靠的功能 特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述 3 Hadoop 软件简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在 不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高 速运算和存储。 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件