Doris 的数据导入事务及原子性保证 杨政国 百度资深研发工程师 Doris Committer 01 Doris简介 导入的问题 02 03 Doris中的导入 使用案例 04 Doris简介 01 • 基于MPP（大规模并行处理）架构的分析型数据库 01 Doris简介 • 性能卓越，PB级别数据毫秒/秒级响应 • 适用于高并发、低延时下的多维分析、实时报表等场景 • 频率从天级提升至分钟级 2008 • 进行了通用化改造，开始承 接公司内部其他报表系统 • 助力百度统计成为国内最大 的中文网站分析工具 2009 • 随百度业务飞速发展，对 Doris的性能、可用性、拓 展性进行了全面升级 • 承担百度所有统计报表业务 2012 01 Doris简介 04 05 06 • 全新的数据模型，查询存储 效率大幅提升 • MPP框架，支持分布式计算 2013 Doris简介 产品特性 简单易用 扩展性强 性能卓越 高可用 • 高度兼容MySQL • 支持在线表结构变更 • 支持集群动态伸缩 • 高度集成，不依赖于外部存储系统 • 架构优雅，单集群可水平扩展至200台以上 • 查询性能业界领先 • 高并发查询，100台集群可达10w QPS • 流式导入单节点100MB/s，小批量导入毫 秒延迟 • 数据、元数据高可用，线上稳定服务6年

TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table

. . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . 26 稳定支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 实验性支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 不支持 . . . . . . . . . 46 基于列的影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 8.10 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 8.10.1 背景

. . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . 26 稳定支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 实验性支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 不支持 . . . . . . . . . 46 基于列的影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 8.10 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 8.10.1 背景

. . . . . 4 1.2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 L1 内核层 . . . . . . . . . . . . . 22 稳定支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 实验性支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 不支持 . . . . . . . 44 iv 基于列的影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.10 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.10.1 背景

. . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 L1 内核层 . . . . . . 26 稳定支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 实验性支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 不支持 . . . . . . . . . 46 基于列的影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 8.10 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 8.10.1 背景

14 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 iv 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 4.10 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.10.1 背景 . . 121 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 5.1.8 不支持项 .

14 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 iv 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 4.10 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.10.1 背景 . . 122 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 5.1.8 不支持项 .

15 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 59 不支持项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.10 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 4.10.1 背景 . . 126 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130 可观察性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 5.1.9 不支持项 .

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 25 2.2.1 兼容性更改 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · TPC-H 性能对比测试报告 - v5.2 MPP 模式对比 Greenplum 6.15.0 以及 Apache Spark 3.1.1 · · · · · · 48 2.6 与 MySQL 兼容性对比 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1932 12.13.4 使用情况信息合规性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·