Hadoop 迁移到阿里云MaxCompute 技术方案
等支持 BI 工具 访问,利用 Hbase 实现低延迟的在线服务等 分析与报表:对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。 数据作业编排:将多个数据处理动作(数据移动、处理转换等)编排成为工作流并周期性地 执行以实现数据处理工作的自动化。如 Apache Oozie、Sqoop 等。 2.1.2 开源大数据组件架构 Alibaba Cloud NoSQL:云数据库 Hbase 版/表格存储 分析与报表 BI 工具 Notebook QuickBI PAI Notebook 组件 EMR Notebook 组件 数据作业编排 Oozie/Azkaban/Airflow Sqooq Dataworks Studio 组件 Dataworks 数据集成组件 2.2 MaxCompute 特性介绍 MaxCompute 表 用户接口 CLT/SDK 统一的命令行工具和 JAVA/PYTHON SDK 开发&诊断 Dataworks/Studio/Logview 配套的数据同步、作业开发、工作流编排调度、作业运维 及诊断工具。开源社区常见的 Sqoop、Kettle、Ozzie 等 实现数据同步和调度。 整体 不是孤立的功能,完整的企 业服务 不需要多组件集成、调优、定制,开箱即用。0 码力 | 59 页 | 4.33 MB | 1 年前3
共 1 条
- 1