Apache Doris 在美团外卖数仓中的应用实践
com 所得的应用场景,美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产,在增 量业务,预设维度分析场景下表现良好,但在变化维的场景下生产成本巨大。例如,如果使用最 新商家类型回溯商家近三个月的表现,需要重新计算三个月的Cube,需花费几个小时,来计算近 TB的历史数据。另外,应对非预设维度分析,MOLAP模型需要重新进行适配计算,也需要一定的 迭代工作。 明细数据的交互 业务生产方式中,历史数据的回溯失去了参考意义。在所有展现组织机构数据的业务场景中,组 织机构的变化是一个绕不开的技术问题。此外,商家品类、类型等其它维度也存在变化维的问题 。如下图所示: 数据生产面临的挑战 数据爆炸,每日使用最新维度对历史数据进行回溯计算。在Kylin的MOLAP模式下存在如下问题: 历史数据每日刷新,失去了增量的意义。 每日回溯历史数据量大,10亿+的历史数据回溯。 数据计算耗时3 数据计算耗时3小时+,存储1TB+,消耗大量计算存储资源,同时严重影响SLA的稳定性。 预计算的大量历史数据实际使用率低下,实际工作中对历史的回溯80%集中在近1个月左 右,但为了应对所有需求场景,业务要求计算近半年以上的历史。 不支持明细数据的查询。 解决方案:引入MPP引擎,数据现用现算 既然变化维的历史数据预计算成本巨大,最好的办法就是现用现算,但现用现算需要强大的并行 计算能力。OLAP的实现有MO0 码力 | 8 页 | 429.42 KB | 1 年前3百度智能云 Apache Doris 文档
百度智能云文档 SQL手册 44 Keywords Keywords 最佳实践 最佳实践 1. 从指定位置重新消费数据 某些情况下,用户希望能够重新指定消费位置并重新消费数据,比如一些数据回溯等场景。此时可以先将当前需要修改的例 行导入作业暂停。然后通过这个命令修改offset,再重启这个作业即可。 DDL CREATE-FILE CREATE FILE CREATE FILE - 1 范围:-2^127 + 1 ~ 2^127 - 1 FLOAT(4字节) FLOAT(4字节) 支持科学计数法 支持科学计数法 DOUBLE(12字节) DOUBLE(12字节) 支持科学计数法 支持科学计数法 DECIMAL[(precision, scale)] (16字节) DECIMAL[(precision, scale)] (16字节) 1 ~ 27 scale: 0 ~ 9 scale: 0 ~ 9 其中整数部分为 1 ~ 18 其中整数部分为 1 ~ 18 不支持科学计数法 不支持科学计数法 DATE(3字节) DATE(3字节) 范围:0000-01-01 ~ 9999-12-31 范围:0000-01-01 ~ 9999-12-31 DATETIME(8字节)0 码力 | 203 页 | 1.75 MB | 1 年前3SelectDB案例 从 ClickHouse 到 Apache Doris
与实践思考。 数据架构 1.0 2 如图所示为数据架构 1.0 架构图,分为数仓层、加速层、应用层三部分,数据架构 1.0 是 一个相对主流的架构,简单介绍一下各层的作用及工作原理: 数仓层:通过 ODS-DWD-DWS 三层将数据整合为不同主题的标签和指标体系, DWM 集市层围绕内容对象构建大宽表,从不同主题域 DWS 表中抽取字段。 加速层:在数仓0 码力 | 12 页 | 1.55 MB | 1 年前3
共 3 条
- 1