-
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 460 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · notes、6.4.0-DMR release notes。 • 要快速对比 6.1.0 LTS 和 6.5.0 LTS 的关键特性,可以查看TiDB 功能概览中的 v6.1 和 v6.5 列。 • 添加索引加速特性 GA,添加索引的性能约提升为 v6.1.0 的 10 倍。 • TiDB 全局内存控制特性 GA,通过tidb_server_memory_limit 即可管理全局内存阈值。 • 支持高性 倍 (GA) #35983 @benjamin2037 @tangenta TiDB v6.3.0 引入了添加索引加速作为实验特性,提升了添加索引回填过程的速度。该功能在 v6.5.0 正式 GA 并默认打开,预期大表添加索引的性能约提升为 v6.1.0 的 10 倍。添加索引加速适用于单条 SQL 语句 串行添加索引的场景,在多条 SQL 并行添加索引时仅对其中一条添加索引的 SQL 语句生效。
0 码力 |
4049 页 |
94.00 MB
| 1 年前 3
-
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 527 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 数为 INT 类 型,且最 小值仅支 持设置为 1。从 v8.4.0 开始, 数据类型 修改为 FLOAT64, 且最小值 支持设置 为 0.05。 在网络抖 动比较频 繁的场景 中可以适 当调小该 值,通过 减少重试 间隔,来 减少网络 抖动带来 的性能影 响。 TiDB tidb_ �→ enable �→ _stats �→ _owner 新增 表示该 tidb-server 是否可以 4 5.3 5.2 5.1 表达式索引 2 Y Y Y Y Y Y Y E E E E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y
0 码力 |
5095 页 |
104.54 MB
| 9 月前 3
-
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 466 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · @Leavrth 从 TiDB v8.0.0 版本起,BR 快照恢复提速功能正式发布并默认启用。通过采用粗粒度打散 Region 算法、批 量创建库表、降低 SST 文件下载和 Ingest 操作之间的相互影响、加速表统计信息恢复等改进措施,快照 恢复的速度有大幅提升。在实际案例中,单个 TiKV 节点的数据恢复速度稳定在 1.2 GiB/s,并且能够在 1 小时内完成对 100 TiB 数据的恢复。 这意味着即使在高负载环境下,BR key,并支持设置自定义加解密 key。如果升级前数据源配置和迁移任务配置里 使用了加密密码,需参考DM 自定义加解密 key 中的升级步骤进行额外操作。#9492 @D3Hunter • 在之前版本中,启用添加索引加速功能 (tidb_ddl_enable_fast_reorg = ON) 后,编码后的索引键值 ingest 到 TiKV 的过程使用了固定的并发数 (16),并未根据下游 TiKV 的处理能力进行动态调整。从
0 码力 |
4805 页 |
101.28 MB
| 1 年前 3
-
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 452 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Backup & Restore (BR) * 增加 PITR 集成测试用例,覆盖对日志备份与添加索引加速功能的兼容性测试 #51987 @Leavrth * 移除日志备份启动时检查是否存在活动 DDL job 的无效检查 #52733 @Leavrth * 增加测试用例,用于测试 PITR 和添加索引加速之间的兼容性 #51988 @Leavrth * BR 在恢复数据过程中,会清理空的 SST 文件 模式添加索引时,在某些特殊情况下导致数据索引不一致的问题 #51954 @lance6716 – 修复在恢复含有外键的表时 DDL 卡住的问题 #51838 @YangKeao – 修复加索引期间 TiDB 网络隔离导致加索引失败的问题 #51846 @ywqzzy – 修复重命名索引后再添加同名索引时报错的问题 #51431 @lance6716 – 修复添加索引期间升级集群导致数据索引不一致的问题 #52411
0 码力 |
4807 页 |
101.31 MB
| 1 年前 3
-
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 467 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ion 默认为 ON),TiDB 优化器会根据统计信息和查询的过滤条件,决定哪些过滤条件会被下推到 TableScan 算 子。 更多信息,请参考用户文档。 34 • TiFlash 支持根据网络交换数据量自动选择 MPP 模式的 Join 算法 #7084 @solotzg TiFlash MPP 模式有多种 Join 算法。在 v7.1.0 之前的版本中,TiDB 根据变量tidb_b cast Hash Join 算法。 在 v7.1.0 中,TiDB 引入变量tidb_prefer_broadcast_join_by_exchange_data_size,控制是否基于最小 网络数据交换策略选择 MPP Join 算法。该变量默认关闭,表示默认保持 v7.1.0 之前的算法选择策略。 如需开启,请设置该变量为 ON。开启后,你无需再手动调整tidb_broadcast_join_threshold_count
0 码力 |
4369 页 |
98.92 MB
| 1 年前 3
-
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 523 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 数为 INT 类 型,且最 小值仅支 持设置为 1。从 v8.4.0 开始, 数据类型 修改为 FLOAT64, 且最小值 支持设置 为 0.05。 在网络抖 动比较频 繁的场景 中可以适 当调小该 值,通过 减少重试 间隔,来 减少网络 抖动带来 的性能影 响。 TiDB tidb_ �→ enable �→ _stats �→ _owner 新增 表示该 tidb-server 是否可以 4 5.3 5.2 5.1 表达式索引 2 Y Y Y Y Y Y Y E E E E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y
0 码力 |
5072 页 |
104.05 MB
| 9 月前 3
-
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 455 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 算子的冗余的聚合函数以减少计算开销 #8891 @guo-shaoge • Tools – Backup & Restore (BR) * 优化备份功能,提升在大量表备份过程中遇到节点重启、扩容或网络抖动时的备份性能和稳 定性 #52534 @3pointer * 优化恢复过程中对 TiCDC Changefeed 的细粒度检查,如果 Changefeed 的CheckpointTS 晚于数据的备 5 6.1 5.4 5.3 5.2 5.1 表达式索引 2 Y Y Y Y Y E E E E E 列式存储 (TiFlash) Y Y Y Y Y Y Y Y Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y Y Titan
0 码力 |
4987 页 |
102.91 MB
| 9 月前 3
-
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 72 4.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 同步中断期间积累大量数据,超过 1TB,重新同步出现 OOM 问题 * 大量数据写入造成 TiCDC 出现 OOM 问题 – 改善 TiCDC 同步中断问题,缓解以下场景的问题 project#11 * 网络不稳定情况下出现的同步中断问题 * 在部分 TiKV/PD/TiCDC 节点宕机情况下出现的同步中断问题 • TiFlash 存储内存控制 优化了 Region 快照生成的速度和内存使用量,减少了 为三节点,为每个节点指定两 块 NVMe SSD 盘作为数据盘。通过 Standalone 方式启动 Spark 集群,使用 NVMe SSD 盘作为 spark.local.dir 本地 目录以借助快速盘加速 Shuffle Spill 过程,无额外分区和索引。 49 --driver-memory 20G --total-executor-cores 120 --executor-cores 5
0 码力 |
2189 页 |
47.96 MB
| 1 年前 3
-