Hadoop 迁移到阿里云MaxCompute 技术方案
MaxCompute 解决方案 19 4.2.3 分析任务兼容性分析及转换 利用迁移工具,可以对 Hive 作业进行兼容性分析,识别出需要修改的任务并提供针对性的 兼容性修改建议。对于用户自定义逻辑的分析任务,如 UDF、MR/Spark 作业等,我们将给出 一般性的改造建议供用户参考。 4.2.4 数据集成及工作流作业迁移 迁移工具支持对主流数据集成工具 Sqoop 进行作业的迁移转换,并自动创建 carrier 连接用户的 Hive metastore 服务,抓取用户的 Hive metadata 并在指定目录 生成一个目录,包含搬站所需的 metadata。用户可自行修改该目录下的文件来自定义搬站工 具的一些行为。 6.2.2 MaxCompute DDL 与 Hive UDTF 生成 利用第一步抓取到的 metadata,生成另一个目录,包含用于创 MaxCompute 客户需要预先开通 MaxCompute 服务,并创建好 project。 3. 根据 meta-carrier 抓取到 metadata 生成 global.json,同时用户可以编辑这个 json 来自 定义表、字段的生成规则,可编辑的部分如下: Alibaba Cloud MaxCompute 解决方案 33 【注意】:配置文件中默认 hiveCompatible 的设置是 false,如果需要把0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1