Spark 简介以及与 Hadoop 的对比 1 Spark 简介 1.1 Spark 概述 Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算框 架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的 优点；但不同于 MapReduce 的是 Job 数据写 到存储系统中。Actions 是触发 Spark 启动计算的动因。 1.2.3 血统（Lineage） 利用内存加快数据加载,在众多的其它的 In-Memory 类数据库或 Cache 类系统中也有实 现，Spark 的主要区别在于它处理分布式运算环境下的数据容错性（节点实效/数据丢失）问 题时采用的方案。为了保证 RDD 中数据的鲁棒性，RDD 数据集通过所谓的血统关系(Lineage) 灵活 1. Spark 提供的数据集操作类型有很多种，不像 Hadoop 只提供了 Map 和 Reduce 两种操 作。比如 map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy 等多种操作类型，Spark 把这些操作称为 Transformations。同时还提供

得益于使用 Hadoop。由于 Hadoop 是分布式的(而非集中式的)，因而不具备关系 型数据库管理系统(RDBMS)的特点。这使得你能够使用 Hadoop 所 提供的大型数据存储和多种数据类型。 第 1 章 Hadoop 概述 3 例如，让我们考虑类似 Google、Bing 或者 Twitter 这样的大型 数据存储。所有这些数据存储都会随着诸如查询和庞大用户基数等 的功能使得它成为最常用的批处理工具之一。该处 理器的灵活性使其能利用自身的影响力来挑战现有系统。通过将数 据处理的工作负载分为多个并行执行的任务，MapReduce 允许其用 户处理存储于 HDFS 上不限数量的任意类型的数据。因此，MapReduce 让 Hadoop 成为了一款强大工具。 在 Hadoop 最近的发展中，另有一款称为 YARN 的组件已经可 用于进一步管理 Hadoop 生态系统。 1 ZooKeeper 中获取最新的集中式配置。这也使得你只需要 通过 ZooKeeper 的一个客户端改变集中式配置，便能改变分布式系 统的状态。 名称服务是将某个名称映射为与该名称相关信息的服务。它类 似于活动目录，作为一项名称服务，活动目录的作用是将某人的用 户 ID(用户名)映射为环境中的特定访问或权限。同样，DNS 服务作 为名称服务，将域名映射为 IP 地址。通过在分布式系统中使用

异构存储主要解决，不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 RAM_DISK：（内存镜像文件系统） SSD：（SSD固态硬盘） DISK：（普通磁盘，在HDFS中，如果没有主动声明数据目录存储类型默认都是DISK） ARCHIVE：（没有特指哪种存储介质，主要的指的是计算能力比较弱而存储密度比较高的存储介质，用来解决数据量的 容量扩增的问题，一般用于归档） 1）关于存储类型 2）关于存储策略 所有副本都保存在SSD中。 一个副本保存在SSD中，其余副本保存在磁盘中。 Hot：所有副本保存在磁盘中，这也是默认的存储策略。 一个副本保存在磁盘上，其余副本保存在归档存储上。 所有副本都保存在归档存储上。 存储类型和存储策略 5.2.1 异构存储 Shell 操作 （1）查看当前有哪些存储策略可以用 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies hadoop dfsadmin -report 5.2.2 测试环境准备 1）测试环境描述 服务器规模：5 台 集群配置：副本数为 2，创建好带有存储类型的目录（提前创建） 集群规划： 节点 存储类型分配 hadoop102 RAM_DISK，SSD hadoop103 SSD，DISK hadoop104 DISK，RAM_DISK hadoop105

arrays ▪ tall array – 一种新的数据类型，专门用于处理大数据. – 用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ▪ 使用方式等同于MATLAB 数组(array) – 支持数据类型包括数值型、字符串、时间类型、表等… – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归 7 tall array Single

compiler，语言功能开发更灵活，迭 代快，语法语义检查更加灵活高效 * 基于代价的优化器，更智能，更强大，更适合复杂的查 询 * 基于 LLVM 的代码生成，让执行过程更高效 * 支持复杂数据类型(array,map,struct) * 支持 Java、Python 语言的 UDF/UDAF/UDTF * 语法：Values、CTE、SEMIJOIN、FROM 倒装、 Subquery useSubjectCredsOnly=false 6.3.1.2 客户信息收集模板  客户需要登录到 Dataworks 填写“Hadoop 搬站信息”表单，需提供如下信息：  Hadoop 类型和版本（CDH 自建、CDH 云上自建、Hadoop IDC 自建、Hadoop 云上自建、 云上托管 EMR）  集群规模（服务器台数） Alibaba Cloud MaxCompute 常用组件（Hive、Spark、Storm、HBase、Flink、Kafa、Impala、Sqoop、Kylin、Flume）  机器配置（CPU 核数、内存大小）  数据量及存储类型  作业量及作业类型（SQL 脚本上传）  调度系统及周期（Pipeline 配置上传）  已有数据应用（如血缘、监控、质量等）  上层应用系统（如帆软 BI、推荐系统等） 

Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运 行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开 发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 9）ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、 DataNode YARN NodeManager ResourceManager NodeManager NodeManager 2）配置文件说明 Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认 配置值时，才需要修改自定义配置文件，更改相应属性值。 （1）默认配置文件： 要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置

能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述 服务器型号 长城信安擎天 DF720 服务器 CPU 类型 飞腾 2000+处理器 操作系统版本 Kylin-4.0.2-server-sp2-2000-19050910.Z1 内核版本 4.4.131 hadoop 版本 2.7.7

希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都 可以通过这项技术一一实现，从而大幅降低成本并创造新的 收入。 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种 不同来源的大量不同类型的数据来实现大数据与Hadoop项 目。实现所有这些目标需要运用富有弹性的端到端信息集成 解决方案，该解决方案不仅可实现大规模扩展，还能提供支持 Hadoop项目所需的基础架构、功能、流程和行为准则。