ClickHouse 到 Apache Doris，腾讯音乐内容库数据平台架构演进实践 2023/02/20SelectDB 用户案例 导读：腾讯音乐内容库数据平台旨在为应用层提供库存盘点、分群画像、指标分析、标签圈 选等内容分析服务，高效为业务赋能。目前，内容库数据平台的数据架构已经从 1.0 演进到 了 4.0 ，经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层 中进行，内容库数据平台的数据加工链路同样是在腾讯数据 仓库 TDW 上构建的。截止目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ， 经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引 入到深度应用，有效提高了数据时效性、降低了运维成本、解决了数据管理割裂等问题，收 益显著。接下来将为大家分享腾讯音乐内容库数据平台的数据架构演进历程与实践思考。 基于架构 1.0 存在的问题和 ClickHouse 的局限性，我们尝试对架构进行优化升级，将分析 引擎 ClickHouse 切换为 Doris，Doris 具有以下的优势： Apache Doris 的优势：  Doris 架构极简易用，部署只需两个进程，不依赖其他系统，运维简单；兼容 MySQL 协议，并且使用标准 SQL。  支持丰富的数据模型，可满足多种数据更新方式，支持部分列更新。

DORIS 文档 2 3 3 7 7 10 11 11 11 11 45 64 85 88 95 95 101 105 121 124 142 143 144 147 147 181 191 193 202 目录 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL-手册 注释 语法帮助 DML DDL 长度为1个字节的有符号整型。 范围: [-128, 127] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成CHAR。 举例: SMALLINT数据类型 SMALLINT数据类型 长度: 长度为2个字节的有符号整型。 范围: [-32768, 32767] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数 将其转换成TINYINT，CHAR。 举例: INT数据类型 INT数据类型 长度: 长度为4个字节的有符号整型。 范围: [-2147483648, 2147483647] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成TINYINT，SMALLINT，CHAR 举例: mysql> select cast(100 as char);

Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com Apache Doris在美团外卖数仓中的应用实践 序言 美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来 的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实 现了低成本生产与高效查询的 现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与基于 Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据 引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 业务团队日常经营分析最典型的场景就是各种维度下的自定义查询，面对如此灵活可变、所见即 1 / 8 Apache Doris在美团外卖数仓中的应用实践 Spark大数据博客 - https://www.iteblog.com 所得的应用场景，美团平台使用Kylin作为公司的主要MOLAP引擎。MOLAP是预计算生产，在增

Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • • 由百度自研，2017年开源，2018年贡献给Apache社区后更名为 Apache Doris 系统定位 • 百度内部统称其为“百度数据仓库Palo”，同时百度云上提供Palo的企业级托管版本 发展历程 01 02 03 • 1.0版本正式上线 • 应用于百度凤巢统计报表的 需求场景，上线后数据更新 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 随百度业务飞速发展，对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算 2013 • 精简架构、统一用户客户端， 实现高可用 • 正式开始对外提供服务 2015 • 正式开源 • 希望能帮助更多人、让更多 人帮助Doris 2017

Apache ShardingSphere document v5.1.1 Apache ShardingSphere Apr 14, 2022 Contents 1 Overview 1 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . . 346 7.8.4 [Proxy] In Windows environment, could not find or load main class org.apache.shardingsphere.proxy.Bootstrap, how to solve it? . . . . . . . . . . . 346 7.8.5 [Proxy] How to Releases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444 xi 8.1.1 Apache ShardingSphere ‐ Version: 5.1.0 ( Release Date: Feb 16th, 2022 ) . . . . . 444 8.2 All Releases

Apache ShardingSphere document v5.0.0 Apache ShardingSphere Nov 10, 2021 Contents 1 Overview 1 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . 304 7.7.4 4. [Proxy] In Windows environment, could not find or load main class org.apache.shardingsphere.proxy.Bootstrap, how to solve it? . . . . . . . . . . . 304 7.7.5 5. [Proxy] How Releases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391 8.1.1 Apache ShardingSphere ‐ Version: 5.0.0‐beta ( Release Date: Jun 19th, 2021 ) . . 391 8.2 All Releases

Apache ShardingSphere document v5.2.1 Apache ShardingSphere Oct 18, 2022 Contents 1 Overview 1 1.1 What is ShardingSphere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . . . 495 8.2.1 Proxy In Windows environment, could not find or load main class org.apache.shardingsphere.proxy.Bootstrap, how to solve it? . . . . . . . . . . . 495 8.2.2 Proxy How to add Releases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 9.1.1 Apache ShardingSphere ‐ Version: 5.2.1 ( Release Date: Oct 18th, 2022 ) . . . . . 506 9.2 All Releases

Apache ShardingSphere document v5.1.2 Apache ShardingSphere Jun 17, 2022 Contents 1 Overview 1 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . . 358 7.8.4 [Proxy] In Windows environment, could not find or load main class org.apache.shardingsphere.proxy.Bootstrap, how to solve it? . . . . . . . . . . . 358 7.8.5 [Proxy] How to Releases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489 8.1.1 Apache ShardingSphere ‐ Version: 5.1.2 ( Release Date: June 13th, 2022 ) . . . . 489 8.2 All Releases

Apache ShardingSphere document v5.2.0 Apache ShardingSphere Sep 8, 2022 Contents 1 Overview 1 1.1 What is ShardingSphere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 . . . . . . . . 456 8.2.1 Proxy In Windows environment, could not find or load main class org.apache.shardingsphere.proxy.Bootstrap, how to solve it? . . . . . . . . . . . 456 8.2.2 Proxy How to add Releases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467 9.1.1 Apache ShardingSphere ‐ Version: 5.2.0 ( Release Date: Sept 5th, 2022 ) . . . . . 467 9.2 All Releases

Apache ShardingSphere document Apache ShardingSphere Dec 26, 2023 Contents 1 What is ShardingSphere 1 1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548 13.3.1 Proxy In Windows environment, could not find or load main class org.apache.shardingsphere.proxy.Bootstrap, how to solve it? . . . . . . . . . . . 548 13.3.2 Proxy How to add Releases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557 14.1.1 Apache ShardingSphere ‐ Version: 5.4.1 ( Release Date: October 18th, 2023 ) . . 557 14.2 All Releases