Hadoop 迁移到阿里云 MaxCompute 技术方案 （V2.8.5） 编写人：MaxCompute 产品团队 日 期：2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .................................. Hadoop 生态的产品映射 ......................................................................... 9 2.2 MaxCompute 特性介绍 ......................................................................................... ................... 11 2.2.2 MaxCompute 产品特性 .................................................................................................... 11 3 MaxCompute 迁移场景分析 .........................

2：离线数仓场景 数据集成按天/小时 批量同步交易库数据ADBPG MySQL/PG/SQLServer/Oracle –>DataX/OSS-> ADBPG 3：大数据计算场景 同步MaxCompute/Hadoop数据，ADBPG做在线分析 大数据平台->DataX/OSS/Blink/-> ADBPG 4：数据湖分析场景 数据按冷热分析，支持在线查询OSS分布式云存 储上的格式化数据 PostgreSQL 智能分析服务 DataV QuickBI 云上大数据计算平台 大数据平台 数据分析应用 制式化报表 个性化报表 仪表盘 自助查询 宏观分析 模型分析 MaxCompute 生产系统数据库 关系型数据 库A RDS …… 关系型数据 库B RDS 关系型数据 库C RDS 关系型数据 库D ECS自建 自建大数据计算平台 Hadoop

model2 … PAI-ABTest A/B流量划分 PAI-Rec – 推荐引擎 BE召回/Hologres hot x2i vec 排序 粗排 精排 重排 MaxCompute Datahub 离线特征 样本构造 实时特征 Flink 训练数据 推荐日志 模型发布 在线流程 离线流程 智能推荐解决方案 > PAI-REC 推荐引擎 PAI-REC ML Service (PaaS) AI Service (SaaS) 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe /Alink/…) 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW）

SparkStreaming Function Compute Hadoop HIVE Big Data Analytics Batch Processing Pig PAI MaxCompute EMR Interactive Analytics DLA Log Service / Analytics �� Flink Storm ����������� Audit

ClickHouse / MongoDB / AWS RedShift / MariaDB / Doris / Hive / DB2 数据库 / Impala / StarRocks / TiDB / MaxCompute / Presto / Kylin / 达梦 / API 数据源等；⽀持数据源的⾼级设置，例如最⼤连接数、最⼩连接数、连接超时时间等； ⽀持数据源有效性校验，⽀持定时检测数据源的连接状态；⽀持⽤户⾃⾏上传数据库驱动

ClickHouse / MongoDB / AWS RedShift / MariaDB / Doris / Hive / DB2数据库 / Impala / StarRocks / TiDB / MaxCompute / Presto / API 数据源等； ⽀持数据源的新建、编辑、删除等；⽀持数据源的⾼级设置，如最⼤连接数、最⼩连接数、连接超时时间等； ⽀持数据源有效性校验；⽀持定时检测数据源的连接状态；⽀持⽤户⾃⾏上传数据库驱动并使⽤；

ClickHouse / MongoDB / AWS RedShift / MariaDB / Doris / Hive / DB2数据库 / Impala / StarRocks / TiDB /MaxCompute / Presto / Kylin / 达梦 / API 数据源等； ⽀持数据源的新建、编辑、删除等；⽀持数据源的⾼级设置，如最⼤连接数、最⼩连接数、连接超时时间等； ⽀持数据源有效性校验；

ClickHouse / MongoDB / AWS RedShift / MariaDB / Doris / Hive / DB2数据库 / Impala / StarRocks / TiDB /MaxCompute / Presto / Kylin / 达梦 / API 数据源等； ⽀持数据源的新建、编辑、删除等；⽀持数据源的⾼级设置，如最⼤连接数、最⼩连接数、连接超时时间等； ⽀持数据源有效性校验；

大数据平台在云原生环境下落地艰难。那么 如何实现大数据云原生化呢？立足满足现在 和未来的企业需求进行渐进式改造推进是比 较合理的方式。(阿里巴巴甚至根据新时代的 诉求，把原先的大数据平台JStorm都给舍弃 掉，全面奔向MaxCompute云原生体系) 高级能力-云原生大数据|AI-业务赋能的基石-2-架构改造上的问题和困难 • 弹性扩缩容能力无法满足快速增长的业务需求：随着业务的发展，流量和数据量突增，尤其对于实时计算，需要资源