......................................... 19 Alibaba Cloud MaxCompute 解决方案 3 4.2.4 数据集成及工作流作业迁移............................................................................................... .................................................................. 55 8.1 【场景 1】Hive 数据和 Oozie 工作流任务如何迁移到 MaxCompute 和 Dataworks? ........... 55 Alibaba Cloud MaxCompute 解决方案 5 8.1.1 网络环境检查 .......................................................................... 57 8.1.6 批量迁移 Oozie 工作流和节点任务 ................................................................................... 57

采 用手动编码。相反，利用商业数据集成软件提供的图形用户界 面提供活动支持，如： • 在企业中实施数据访问和移动 • 数据集成逻辑 • 通过各种逻辑对象组装数据集成作业 • 组装更大的工作流 • 数据治理 • 运营和行政管理 通过采用这项最佳实践，企业就能利用商业数据集成软件久 经考验的生产、成本、价值实现时间以及强大的运营和行政控 制优势，同时避免手动编码带来的负面影响（参见图4）。 速回答他们的提问 • 工作负载管理，为共享服务环境中的某些项目分配资源 优先级，在繁忙系统上对工作负载进行排队 • 性能分析，深入了解资源使用情况，辨别瓶颈并确定何 时系统可能需要更多的资源 • 构建工作流，其中包括通过Oozie直接按作业序列定义 的基于Hadoop的活动，以及其他数据集成活动 大数据集成的行政管理必须包括： • 基于Web的集成式安装程序，用于执行所有功能 • 高可用性配置，用于满足全天候需求 握相关机遇才能实现各项目标。 IBM建议构建一个大数据集成架构，该架构足够灵活，可充分利 用RDBMS、ETL网格和Hadoop环境的优势。用户应能够构建 一次集成工作流，即可在上述三个环境中的任意一个环境中运 行该工作流。 本文列出的5个大数据集成最佳实践体现了筹备项目并实现成功 的最佳方法。遵循这些原则有助于企业尽量降低Hadoop项目 的风险和成本，同时最大限度提高ROI。 更多信息

对于拥有大型数据存储或者数据湖的企业和组织来说，这是一 种重要的组件，它将数据限定到可控的大小范围内，以便用于分析 第 1 章 Hadoop 概述 5 或查询。 如图 1-1 所示，MapReduce 的工作流程就像一个有着大量齿轮 的古老时钟。在移动到下一个之前，每一个齿轮执行一项特定任务。 它展现了数据被切分为更小尺寸以供处理的过渡状态。 主节点 客户端 HDFS 分布式数据存储 据、服务器日志、客户交易与交互、视频以及来自现场设备的传感 器数据。 Hortonworks 或者 Cloudera 数据平台，以及 Informatica，使得 企业能够优化 ETL(抽取、转换、加载)工作流程，以便在 Hadoop 中长期存储和处理大规模数据。 Hadoop 与企业工具的集成使得组织能够将内部和外部的所有数 据用于获得完整的分析能力，并以此推动现代数据驱动业务的成功。 另一个例子，Hadoop

上存储的大数 据进行计算。 5）Flink：Flink 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。 6）Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于