PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈 (Global Datasphere) 呈指数级递增， IDC预测全球数据圈将于 2 更多机会。早在2019年，Gartner便做出预测: 数据库市场的未来在云上 作。在2022年首次发布的《数据库中国市场 指南》 (Market Guide for DBMS，China) 中，Gartner 指出，中国数据库行业将加速增长并逐步向云端迁移，未来 四年，中国数据库行业向公有云迁移的速度将超过全球平均水平 生数据库成为大势所趋，各个企业也都在向这 一趋势靠拢。2020 年数据显示，云数据库已占据整体数据库市场份 PiecloudDB 产品架构 pieCloudDB 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层为 pieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB 核心服务层，提供了并行数

5 6 7 7 8 11 13 15 16 目 录 行 业 背 景 石油是工业的血液，数据是数字经济的“石油”，数据分析则是石油精炼。 随着信息技术的发展，互联网应用的加速普及，人类进入了数字经济时代。进入二十一世纪以后，随着移动互联网技 术、物联网技术、5G等技术的发展，全球数据圈（Global Datasphere）呈指数级递增， IDC预测全球数据圈将于 2 更多机会。早在2019年，Gartner便做出预测：数据库市场的未来在云上 。在2022年首次发布的《数据库中国市场 指南》（Market Guide for DBMS，China）中，Gartner 指出，中国数据库行业将加速增长并逐步向云端迁移，未来 四年，中国数据库行业向公有云迁移的速度将超过全球平均水平。云原生数据库成为大势所趋，各个企业也都在向这 一趋势靠拢。2020 年数据显示，云数据库已占据整体数据库市场 PieCloudDB 产品架构 PieCloudDB 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下： 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中，同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层，提供了并

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 460 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · notes、6.4.0-DMR release notes。 • 要快速对比 6.1.0 LTS 和 6.5.0 LTS 的关键特性，可以查看TiDB 功能概览中的 v6.1 和 v6.5 列。 • 添加索引加速特性 GA，添加索引的性能约提升为 v6.1.0 的 10 倍。 • TiDB 全局内存控制特性 GA，通过tidb_server_memory_limit 即可管理全局内存阈值。 • 支持高性 倍 (GA) #35983 @benjamin2037 @tangenta TiDB v6.3.0 引入了添加索引加速作为实验特性，提升了添加索引回填过程的速度。该功能在 v6.5.0 正式 GA 并默认打开，预期大表添加索引的性能约提升为 v6.1.0 的 10 倍。添加索引加速适用于单条 SQL 语句 串行添加索引的场景，在多条 SQL 并行添加索引时仅对其中一条添加索引的 SQL 语句生效。

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 527 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 数为 INT 类 型，且最 小值仅支 持设置为 1。从 v8.4.0 开始， 数据类型 修改为 FLOAT64， 且最小值 支持设置 为 0.05。 在网络抖 动比较频 繁的场景 中可以适 当调小该 值，通过 减少重试 间隔，来 减少网络 抖动带来 的性能影 响。 TiDB tidb_ �→ enable �→ _stats �→ _owner 新增 表示该 tidb-server 是否可以 4 5.3 5.2 5.1 表达式索引 2 Y Y Y Y Y Y Y E E E E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 466 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · @Leavrth 从 TiDB v8.0.0 版本起，BR 快照恢复提速功能正式发布并默认启用。通过采用粗粒度打散 Region 算法、批 量创建库表、降低 SST 文件下载和 Ingest 操作之间的相互影响、加速表统计信息恢复等改进措施，快照 恢复的速度有大幅提升。在实际案例中，单个 TiKV 节点的数据恢复速度稳定在 1.2 GiB/s，并且能够在 1 小时内完成对 100 TiB 数据的恢复。 这意味着即使在高负载环境下，BR key，并支持设置自定义加解密 key。如果升级前数据源配置和迁移任务配置里 使用了加密密码，需参考DM 自定义加解密 key 中的升级步骤进行额外操作。#9492 @D3Hunter • 在之前版本中，启用添加索引加速功能 (tidb_ddl_enable_fast_reorg = ON) 后，编码后的索引键值 ingest 到 TiKV 的过程使用了固定的并发数 (16)，并未根据下游 TiKV 的处理能力进行动态调整。从

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 452 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Backup & Restore (BR) * 增加 PITR 集成测试用例，覆盖对日志备份与添加索引加速功能的兼容性测试 #51987 @Leavrth * 移除日志备份启动时检查是否存在活动 DDL job 的无效检查 #52733 @Leavrth * 增加测试用例，用于测试 PITR 和添加索引加速之间的兼容性 #51988 @Leavrth * BR 在恢复数据过程中，会清理空的 SST 文件 模式添加索引时，在某些特殊情况下导致数据索引不一致的问题 #51954 @lance6716 – 修复在恢复含有外键的表时 DDL 卡住的问题 #51838 @YangKeao – 修复加索引期间 TiDB 网络隔离导致加索引失败的问题 #51846 @ywqzzy – 修复重命名索引后再添加同名索引时报错的问题 #51431 @lance6716 – 修复添加索引期间升级集群导致数据索引不一致的问题 #52411

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 467 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ion 默认为 ON），TiDB 优化器会根据统计信息和查询的过滤条件，决定哪些过滤条件会被下推到 TableScan 算 子。 更多信息，请参考用户文档。 34 • TiFlash 支持根据网络交换数据量自动选择 MPP 模式的 Join 算法 #7084 @solotzg TiFlash MPP 模式有多种 Join 算法。在 v7.1.0 之前的版本中，TiDB 根据变量tidb_b cast Hash Join 算法。 在 v7.1.0 中，TiDB 引入变量tidb_prefer_broadcast_join_by_exchange_data_size，控制是否基于最小 网络数据交换策略选择 MPP Join 算法。该变量默认关闭，表示默认保持 v7.1.0 之前的算法选择策略。 如需开启，请设置该变量为 ON。开启后，你无需再手动调整tidb_broadcast_join_threshold_count

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 523 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 数为 INT 类 型，且最 小值仅支 持设置为 1。从 v8.4.0 开始， 数据类型 修改为 FLOAT64， 且最小值 支持设置 为 0.05。 在网络抖 动比较频 繁的场景 中可以适 当调小该 值，通过 减少重试 间隔，来 减少网络 抖动带来 的性能影 响。 TiDB tidb_ �→ enable �→ _stats �→ _owner 新增 表示该 tidb-server 是否可以 4 5.3 5.2 5.1 表达式索引 2 Y Y Y Y Y Y Y E E E E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 455 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 算子的冗余的聚合函数以减少计算开销 #8891 @guo-shaoge • Tools – Backup & Restore (BR) * 优化备份功能，提升在大量表备份过程中遇到节点重启、扩容或网络抖动时的备份性能和稳 定性 #52534 @3pointer * 优化恢复过程中对 TiCDC Changefeed 的细粒度检查，如果 Changefeed 的CheckpointTS 晚于数据的备 5 6.1 5.4 5.3 5.2 5.1 表达式索引 2 Y Y Y Y Y E E E E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y Y Titan

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 72 4.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 同步中断期间积累大量数据，超过 1TB，重新同步出现 OOM 问题 * 大量数据写入造成 TiCDC 出现 OOM 问题 – 改善 TiCDC 同步中断问题，缓解以下场景的问题 project#11 * 网络不稳定情况下出现的同步中断问题 * 在部分 TiKV/PD/TiCDC 节点宕机情况下出现的同步中断问题 • TiFlash 存储内存控制 优化了 Region 快照生成的速度和内存使用量，减少了 为三节点，为每个节点指定两 块 NVMe SSD 盘作为数据盘。通过 Standalone 方式启动 Spark 集群，使用 NVMe SSD 盘作为 spark.local.dir 本地 目录以借助快速盘加速 Shuffle Spill 过程，无额外分区和索引。 49 --driver-memory 20G --total-executor-cores 120 --executor-cores 5