Hadoop 迁移到阿里云 MaxCompute 技术方案 （V2.8.5） 编写人：MaxCompute 产品团队 日 期：2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .................................. .............. 6 2 阿里云大数据与开源生态对比 .................................................................................................................. 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ................ ..................... 8 2.1.3 阿里云大数据组件架构 ......................................................................................................... 9 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 ................

• 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的 开源贡献、基于Intel平台的开源顷目优化以及一些基于Spark的大 规模机器／深度学习顷目。 • 超过9年的互联网、云计算、大数据的工作经验。 概要 • Hadoop的历叱 • Hadoop 3介绍  Common  HDFS  YARN  MapReduce • Hadoop的未来发展方向 Hadoop的历叱 Hadoop 3介绍 • Common • HDFS  纠错码(Erasure Coding)  多个Standby Namenode  Datanode内部balance工具  云计算平台的支持 • YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位 XOR编码: 1,0 需要额外的1位 Journal Node Journal Node Journal Node Write edit logs Read edit logs Block reports HDFS-6440 云计算－存储虚拟化 Hadoop 文件系统API SQL, 机器学习, 流处理, Batch… Hadoop 3介绍 • Common • HDFS • YARN  YARN Timeline

Apache Hadoop 连接到数百种数据系统。如果你的职业不是程序员或开发人 员，那么这点对你来说无疑是使用 Hadoop 的加分项。大多数供应 商使用各种开放源码解决方案用于数据集成，这些解决方案原生支 持 Apache Hadoop，包括为 HDFS、HBase、Pig、Sqoop 和 Hive 提 供连接器(见图 1-6)。 基于 Hadoop 的应用程序具有良好的平衡性，能够支持 Windows

构建的丰富高效、安全可靠的功能 特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述 服务器型号 长城信安擎天

*文中涉及的其它名称及商标属于各自所有者资产。 关注产业应用，产研相互促进 • 英特尔®中国于计算创新中心 • Intel Hadoop研发团队 • 行业应用 英特尔®中国云计算创新中心 数据中心: • 11 个机柜，其中网络机柜1个，服务 器机柜10个 • 电气容量：6 kW/机柜 • 配电：一路220V AC 市电 + 一路 240V DC 直流