Hadoop 迁移到阿里云MaxCompute 技术方案
Airflow 等作业调度工具 Datawroks Studio 4.2 MMA 功能介绍 4.2.1 迁移评估分析 在迁移对 Hadoop 平台进行诊断分析,评估数据迁移规模、作业迁移改造的数量、预估迁 移后的成本,从而对迁移工作进行整体评估和决策。 4.2.2 数据迁移自动化 利用迁移工具,可以对 Hive Meta 及数据进行检测扫描,自动在 MaxCompute 创建对应 利用迁移工具,可以对 Hive 作业进行兼容性分析,识别出需要修改的任务并提供针对性的 兼容性修改建议。对于用户自定义逻辑的分析任务,如 UDF、MR/Spark 作业等,我们将给出 一般性的改造建议供用户参考。 4.2.4 数据集成及工作流作业迁移 迁移工具支持对主流数据集成工具 Sqoop 进行作业的迁移转换,并自动创建 Dataworks 数据集成作业;迁移工具支持主流 Pipeline ,制定迁移方案和计划。 5.2 阶段 2:试点/全面业务迁移 在确定开展迁移工作后,需要准备 MaxCompute 相关环境,并开展数据、分析作业、工作 流任务的改造和迁移工作。借助迁移工具,能够加速迁移改造的进程。 同时,需要对当前系统与 MaxCompute 环境进行业务对比验证,确定迁移的正确性。 迁移开展时,您可以选择部分试点业务迁移或全量业务进行迁移。对于规模较大的用户,建0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1