Hadoop 迁移到阿里云MaxCompute 技术方案
compiler,语言功能开发更灵活,迭 代快,语法语义检查更加灵活高效 * 基于代价的优化器,更智能,更强大,更适合复杂的查 询 * 基于 LLVM 的代码生成,让执行过程更高效 * 支持复杂数据类型(array,map,struct) * 支持 Java、Python 语言的 UDF/UDAF/UDTF * 语法:Values、CTE、SEMIJOIN、FROM 倒装、 Subquery useSubjectCredsOnly=false 6.3.1.2 客户信息收集模板 客户需要登录到 Dataworks 填写“Hadoop 搬站信息”表单,需提供如下信息: Hadoop 类型和版本(CDH 自建、CDH 云上自建、Hadoop IDC 自建、Hadoop 云上自建、 云上托管 EMR) 集群规模(服务器台数) Alibaba Cloud MaxCompute 常用组件(Hive、Spark、Storm、HBase、Flink、Kafa、Impala、Sqoop、Kylin、Flume) 机器配置(CPU 核数、内存大小) 数据量及存储类型 作业量及作业类型(SQL 脚本上传) 调度系统及周期(Pipeline 配置上传) 已有数据应用(如血缘、监控、质量等) 上层应用系统(如帆软 BI、推荐系统等) 0 码力 | 59 页 | 4.33 MB | 1 年前3Curve核心组件之mds – 网易数帆
本PageFile支持块设备、三副本AppendFile(待开发)支持在线对象存储、AppendECFile(待开发)支持 近线对象存储可以共存。 如上所示LogicalPool与pool为多对一的关系,一个物理pool可以存放各种类型的file。当然由于curve支持 多个pool,可以选择一个logicalPool独享一个pool。 通过结合curve的用户系统,LogicalPool可以通过配置限定特定user使用的方式,实现多个租户数据物理0 码力 | 23 页 | 1.74 MB | 5 月前3
共 2 条
- 1