Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效，无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 （多版本机制） （两阶段导入） 事务能力保证 使用案例 04 BI Application 数据加载

特性，提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能，提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制，提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维，降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI control. �→ enable 新增 表示是否开启 TiKV 流量控制 机制。默认值 为 true。 TiKV 配置文件 storage.flow- �→ control. �→ memtables- �→ threshold 新增 当 KvDB 的 memtable 的个 数达到该阈值 时，流控机制 开始工作。默 认值为 5。 TiKV 配置文件 storage.flow- �→ 件个数达到该 阈值时，流控 机制开始工作。 默认值为 9。 28 配置文件 配置项 修改类型 描述 TiKV 配置文件 storage.flow- �→ control. �→ soft- �→ pending- �→ compaction �→ -bytes- �→ limit 新增 当 KvDB 的 pending compaction bytes 达到该阈值时， 流控机制开始 拒绝部分写入

部分列统计信息的方案，提高宽表收集统计信息的速度 • TiKV – 增强磁盘空间防护能力，提升存储稳定性。 针对 TiKV 遇到磁盘写满错误时可能 Panic 的问题，为磁盘剩余空间引入两级阈值防御机制，避免超 额流量耗尽磁盘空间。同时，提供阈值触发时的空间回收能力。当剩余空间触发阈值时，部分写 操作会失败，并返回 disk full 错误和盘满节点列表。此时，可以通过 Drop/Truncate 命令是为了在不重启的情况下使配置生效。 90 4.2.3 检测及关闭目标部署机器的防火墙 本段介绍如何关闭目标主机防火墙配置，因为在 TiDB 集群中，需要将节点间的访问端口打通才可以保证读写 请求、数据心跳等信息的正常的传输。在普遍线上场景中，数据库到业务服务和数据库节点的网络联通都是 在安全域内完成数据交互。如果没有特殊安全的要求，建议将目标节点的防火墙进行关闭。否则建议按照端 口使用规则，将端口信息配置到防火墙服务的白名单中。 注意： • vm.min_free_kbytes 是 Linux 内核的一个参数，用于控制系统预留的最小空闲内存量， 单位为 KiB。 • vm.min_free_kbytes 的设置会影响内存回收机制。设置得过大，会导致可用内存变 少，设置得过小，可能会导致内存的申请速度超过后台的回收速度，进而导致内存 回收并引起内存分配延迟。 • 建议将 vm.min_free_kbytes 最小设置为 1048576

用户文档，#21094 • 默认开启 Hibernate Region 特性。 如果 Region 长时间处于非活跃状态，即被自动设置为静默状态，可以降低 Leader 和 Follower 之间心跳信 息的系统开销。 用户文档，#10266 2.2.2.4 稳定性 • TiCDC 复制稳定性问题解决 – 改善 TiCDC 内存使用，避免在以下场景出现 OOM * 同步中断期间积累大量数据，超过 调度器后出现的非预期统计行为 #3602 – 解决扩缩容过程中出现的多个调度问题 * 优化副本 snapshot 生成流程，解决扩缩容调度慢问题：#3563 #10059 #10001 * 解决由于流量变化引带来的心跳压力引起的调度慢问题 #3693 #3739 #3728 #3751 * 减少大集群由于调度产生的空间差异问题，并优化调度公式防止由于压缩率差异大引发的类 似异构空间集群的爆盘问题 #3592 #10005 命令是为了在不重启的情况下使配置生效。 4.2.3 检测及关闭目标部署机器的防火墙 本段介绍如何关闭目标主机防火墙配置，因为在 TiDB 集群中，需要将节点间的访问端口打通才可以保证读写 请求、数据心跳等信息的正常的传输。在普遍线上场景中，数据库到业务服务和数据库节点的网络联通都是 在安全域内完成数据交互。如果没有特殊安全的要求，建议将目标节点的防火墙进行关闭。否则建议按照端 口使用规则，将端口信息配置到防火墙服务的白名单中。

Coprocessor 支持分页 API 进行流式处理 #11448 – 支持 read-through-lock，使读操作不需要等待清理 secondary lock #11402 – 增加了磁盘保护机制，尽量避免磁盘空间耗尽导致 panic #10537 – 日志支持存档和轮替 #11651 – 减少 Raft 客户端的系统调用并提高 CPU 效率 #11309 – Coprocessor 支持下推 命令是为了在不重启的情况下使配置生效。 4.2.3 检测及关闭目标部署机器的防火墙 本段介绍如何关闭目标主机防火墙配置，因为在 TiDB 集群中，需要将节点间的访问端口打通才可以保证读写 请求、数据心跳等信息的正常的传输。在普遍线上场景中，数据库到业务服务和数据库节点的网络联通都是 在安全域内完成数据交互。如果没有特殊安全的要求，建议将目标节点的防火墙进行关闭。否则建议按照端 口使用规则，将端口信息配置到防火墙服务的白名单中。 注意： • vm.min_free_kbytes 是 Linux 内核的一个参数，用于控制系统预留的最小空闲内存量， 单位为 KiB。 • vm.min_free_kbytes 的设置会影响内存回收机制。设置得过大，会导致可用内存变 少，设置得过小，可能会导致内存的申请速度超过后台的回收速度，进而导致内存 回收并引起内存分配延迟。 • 建议将 vm.min_free_kbytes 最小设置为 1048576

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 101 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · COLUMNS 分区 • 支持通过 SQL 语句对 TiFlash 副本立即触发物理数据整理 (Compaction)（实验特性） 在当前 TiFlash 后台自动整理物理数据（Compaction）机制基础上，新增 compact 命令，帮助刷新旧格式数 据，提升读写性能。推荐在升级至 v6.1.0 之后，执行该语句以清理数据。此语句是对标准 SQL 语法的扩 展，对 MySQL 客户端保持兼容。升级之外场景一般不需要特别关注。 事务原子性和隔离性，但是对 于集群的稳定性有很大提升，详细语法请参考BATCH。 用户文档 • TiDB 支持设置最大 GC 等待时间 TiDB 的事务的实现采用了 MVCC（多版本并发控制）机制，当新写入的数据覆盖旧的数据时，旧的数据 不会被替换掉，而是与新写入的数据同时保留，并通过 Garbage Collection (GC) 的任务定期清理不再需要 的旧数据。定期 GC 清理有助于回

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 并通过可视化的方式进行容量预估，便于合理配置资源。 更多信息，请参考用户文档。 • 支持 Fast Online DDL 的检查点机制，提升容错性和自动恢复能力 #42164 @tangenta TiDB v7.1.0 引入Fast Online DDL 的检查点机制，可以大幅提升 Fast Online DDL 的容错性和自动恢复能力。即 使 TiDB owner 因故障重启或者切换，TiDB @bufferflies – 新增历史负载信息，避免了存储引擎为 raft-kv2 时，热点调度器对不稳定负载所在的 Region 进行频 繁调度 #6297 @bufferflies – 新增 leader 健康检查机制，当 etcd leader 所在的 PD server 无法当选 leader 时，主动切换 etcd leader 来 保证 PD leader 可用 #6403 @nolouch 57 •

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 95 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 更多信息，请参考用户文档。 • 支持在会话级将不可见索引 (Invisible Indexes) 调整为可见 #50653 @hawkingrei 在优化器选择索引时，默认情况下不会选择不可见索引。这一机制通常用于在评估是否删除某个索引 之前。如果担心删除索引可能导致性能下降，可以先将索引设置为不可见，以便在必要时快速将其恢 复为可见。 38 从 v8.0.0 开始，你可以将会话级系统变量tidb 任务，方便批量导入数据到目标表，极大地提升 了数据文件导入的效率和性能 #49008 @D3Hunter – 提升 Sort 算子的数据落盘性能 #47733 @xzhangxian1008 – 优化数据落盘功能的退出机制，支持在数据落盘过程中取消查询 #50511 @wshwsh12 – 在处理包含多个等值条件的表连接查询时，支持使用匹配部分条件的索引构造 Index Join #47233 @winoros

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · e 指标 #28937 @cfzjywxk – 在 Resource Control 面板中添加 RU (max) 监控指标 #49318 @nolouch – 为 LDAP 身份认证添加超时机制，避免资源锁 (RLock) 无法及时释放的问题 #51883 @YangKeao • TiKV – 在 Raftstore 线程中避免进行快照文件的 IO 操作，提高 TiKV 稳定性 #16564 tidb_mem_quota_analyze 时，更新统计信息使用的内存超过限制可能导致 TiDB crash 的问 题 #52601 @hawkingrei – 修复 TiDB 统计信息同步加载机制无限重试加载空统计信息并打印 fail to get stats version for �→ this histogram 日志的问题 #52657 @hawkingrei – 修复关闭新排序

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 会备份退出。断点续传功能允许对持续更长时间的可恢复故障进行重试恢复，比如几十分钟的网络故 障。 需要注意的是，如果你没有在 BR 退出后一个小时内完成故障恢复，那么还未备份的快照数据可能会被 GC 机制回收，从而造成备份失败。更多信息，请参考用户文档。 • PITR 性能大幅提升 [@joccau](https://github.com/joccau) PITR 恢复的日志恢复阶段，单台 TiKV 版本引入的AMEND TRANSACTION 机制，并使用元数据锁替代。 2.2.4 改进提升 • TiDB – 对于 BIT 和 CHAR 类型的列，使 INFORMATION_SCHEMA.COLUMNS 的显示结果与 MySQL 一致 #25472 @hawkingrei – 优化 TiDB 在 TiFlash MPP 模式下对 TiFlash 节点的探活机制，缓解节点异常时对性能的影响 #39686