Hadoop 迁移到阿里云MaxCompute 技术方案
工具所需的其他依赖,如 odpscmd 等。 3. 获取 Hive metadata 4. 结果输出 Alibaba Cloud MaxCompute 解决方案 24 说明:①global.json 是一个全局的配置文件,包含了整个迁移过程中的一些配置,例如将要使用的 MaxCompute 的版本,是否打开 hive compatible 开关等。②每一个 database 在风险,例如 Hive 数据类型到 ODPS 数据类型会带来的精度损失等问题。以下是一个报告的例子: Alibaba Cloud MaxCompute 解决方案 29 【说明】:报告中对于 String 类型的 8M 限制的警告:不会截断该字段,但整个 SQL(表或分 区)的写入都会失败,因为 sql-checker 就会报错,不会走到 commit。 6.3 MaxCompute。 Alibaba Cloud MaxCompute 解决方案 36 7. 编程接口:Maven xml 8. 对于 hive 集群上作业提交队列的说明: Alibaba Cloud MaxCompute 解决方案 37 我们工具在创建 hive 作业迁移数据的时候,会把作业提交到 default queue,如同客户的 hive0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1