浅谈全链路监控： 从应用到数据库到 Runtime 黄东旭, Co-founder & CTO, PingCAP 关于我 黄东旭，联合创始人 & CTO @ PingCAP 做分布式数据库的程序员 ● 现在能写代码的时间是奢侈品 TiDB 的亲爹之一兼首席客服和新功能的第一个用户 ● 冤有头债有主，SQL 慢了来找我。。。 偶尔玩玩音乐 ● 摇滚乐->实验音乐 Go 的粉丝！！！！ 这个公司也是分布式的（北京、上海、广州、深圳、成 都、杭州、新加坡、东京、硅谷） We're hiring! 今天的演讲内容来自我最近的一个真实经历。。。。 一个真实的故事 老板：怎么应用那么卡？ 前端开发：是不是你网络不行 老板：换了个网还是一样 前端开发：找到原因了，这个 REST API 卡了几秒返回 后端开发：这个 API 没啥逻辑，肯定是 TiDB 的问题 DBA：没有啊，我看数据库响应时间也就几

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 78 4.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 节点将会使用较多资源用于计算，这 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 75 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 软件和硬件环境建议配置 TiDB 作为一款开源分布式 NewSQL 数据库，可以很好的部署和运行在 Intel 架构服务器环境、ARM 架构的服务器 环境及主流虚拟化环境，并支持绝大多数的主流硬件网络。作为一款高性能数据库系统，TiDB 支持主流的 Linux 操作系统环境。 4.1.1 Linux 操作系统版本要求 Linux 操作系统平台 版本 Red Hat Enterprise Linux

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 72 4.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 同步中断期间积累大量数据，超过 1TB，重新同步出现 OOM 问题 * 大量数据写入造成 TiCDC 出现 OOM 问题 – 改善 TiCDC 同步中断问题，缓解以下场景的问题 project#11 * 网络不稳定情况下出现的同步中断问题 * 在部分 TiKV/PD/TiCDC 节点宕机情况下出现的同步中断问题 • TiFlash 存储内存控制 优化了 Region 快照生成的速度和内存使用量，减少了 软件和硬件环境建议配置 TiDB 作为一款开源分布式 NewSQL 数据库，可以很好的部署和运行在 Intel 架构服务器环境、ARM 架构的服务器 环境及主流虚拟化环境，并支持绝大多数的主流硬件网络。作为一款高性能数据库系统，TiDB 支持主流的 Linux 操作系统环境。 4.1.1 Linux 操作系统版本要求 Linux 操作系统平台 版本 Red Hat Enterprise Linux

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93 4.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 节点将会使用较多资源用于计算，这 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 软件和硬件环境建议配置 TiDB 作为一款开源分布式 NewSQL 数据库，可以很好地部署和运行在 Intel 架构服务器环境、ARM 架构的服务器 环境及主流虚拟化环境，并支持绝大多数的主流硬件网络。作为一款高性能数据库系统，TiDB 支持主流的 Linux 操作系统环境。 91 4.1.1 Linux 操作系统版本要求 Linux 操作系统 版本 Red Hat Enterprise

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 86 4.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · MaxMessageBytes 的默认值，由 64 MB 减小为 1 MB，以修复消息过大 会被 Kafka Broker 拒收的问题 #3104 * 减少同步链路中的内存占用 #2553#3037 #2726 * 优化监控项和告警规则，提升了同步链路、内存 GC、存量数据扫描过程的可观测性 #2735 #1606 #3000 #2985 #2156 * 当同步任务状态正常时，不再显示历史错误信息，避免误导用户 节点将会使用较多资源用于计算，这 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 83 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 446 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 节点将会使用较多资源用于计算，这 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 小时）后，自动关闭客户端连接。你可以使用 TiDB 与 MySQL 兼容的 wait_timeout 变量控制此超时时间，详见JDBC 查询超时文档。 此外，客户端到 TiDB 之间通常还会有 LVS 或 HAProxy 之类的网络代理。这些代理通常会在连接空闲超过特定时 间（由代理的 idle 配置决定）后主动清理连接。除了关注代理的 idle 配置外，连接池还需要进行保活或探测 连接。 如果常在 Java 应用中看到以下错误：

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 467 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ion 默认为 ON），TiDB 优化器会根据统计信息和查询的过滤条件，决定哪些过滤条件会被下推到 TableScan 算 子。 更多信息，请参考用户文档。 34 • TiFlash 支持根据网络交换数据量自动选择 MPP 模式的 Join 算法 #7084 @solotzg TiFlash MPP 模式有多种 Join 算法。在 v7.1.0 之前的版本中，TiDB 根据变量tidb_b cast Hash Join 算法。 在 v7.1.0 中，TiDB 引入变量tidb_prefer_broadcast_join_by_exchange_data_size，控制是否基于最小 网络数据交换策略选择 MPP Join 算法。该变量默认关闭，表示默认保持 v7.1.0 之前的算法选择策略。 如需开启，请设置该变量为 ON。开启后，你无需再手动调整tidb_broadcast_join_threshold_count

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 460 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 分区表特性在 v6.1.0 正式 GA 后，TiDB 仍然在持续提升分区表相关的性能。在 v6.5.0 中，TiDB 支持将 ORDER BY 和 LIMIT 等排序操作下推至 TiKV 进行计算和过滤，降低网络 I/O 的开销，提升了使用分区表时 SQL 的性能。 • 优化器引入更精准的代价模型 Cost Model Version 2 (GA) #35240 @qw4990 TiDB v6.2.0 @Leavrth TiDB 快照备份功能支持断点续传。当 BR 遇到可恢复的错误时会进行重试，但是超过固定重试次数之后 会备份退出。断点续传功能允许对持续更长时间的可恢复故障进行重试恢复，比如几十分钟的网络故 障。 需要注意的是，如果你没有在 BR 退出后一个小时内完成故障恢复，那么还未备份的快照数据可能会被 GC 机制回收，从而造成备份失败。更多信息，请参考用户文档。 • PITR 性能大幅提升

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 462 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 0 实验性地引入了粗粒度打散 Region 算法，用于提升集群的快照恢复速度。在 TiKV �→ 节点较多的集群中，该算法可显著提高集群资源利用率，更均匀地分配负载， �→ 同时更好地利用每个节点的网络带宽。在一些实际案例中，该特性可将恢复速度最高提升约 10 倍 �→ 。 建表性能提升 FLASHBACK CLUSTER TO TSO 445494839813079041; 更多信息，请参考用户文档。 • 支持自动终止长时间未提交的空闲事务 #48714 @crazycs520 在网络异常断开或应用程序故障时，COMMIT/ROLLBACK 语句可能无法正常传送到数据库。这种情况可能 导致数据库锁未能及时释放，进而引起事务锁等待以及数据库连接数快速增加。这类问题在测试环境 中较常

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 452 5.1.4 网络要求 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 模式添加索引时，在某些特殊情况下导致数据索引不一致的问题 #51954 @lance6716 – 修复在恢复含有外键的表时 DDL 卡住的问题 #51838 @YangKeao – 修复加索引期间 TiDB 网络隔离导致加索引失败的问题 #51846 @ywqzzy – 修复重命名索引后再添加同名索引时报错的问题 #51431 @lance6716 – 修复添加索引期间升级集群导致数据索引不一致的问题 #52411 br_tikv_outage #52673 @Leavrth * 修复测试用例 TestGetTSWithRetry 执行时间过长的问题 #52547 @Leavrth * 修复恢复暂停的日志备份任务时，如果与 PD 的网络连接不稳定可能导致 TiKV panic 的问题 #17020 @YuJuncen – TiCDC * 修复调用驱逐 TiCDC owner 节点的 API (/api/v2/owner/resign)