2012 ... ● Latency in scheduler ■ case study: batching client requests ● Memory control ■ case study: transparent huge pages ● GC Related ■ case study: GC sweep caused latency jitter ■ case study: Lock Lock and NUMA aware Agenda Part I - Latency in scheduler ● The client consists of a goroutine and a channel ○ The channel batch the request ○ A goroutine run read-send-recv loop Background Description is reasonable ● But the RPC metrics show a high latency Investigation ● Network IO is ready => goroutine wake up == 4.3ms ○ Sometime even 10ms+ latency here! ○ The time spend on runtime schedule is

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 364 8.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 365 8.1 · · · · · · · · · · · · · · · · · · · · · · · · · 436 8.8 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 436 8.8.1 Common causes · · · · · · · · · · · Support directly reading data from the local replica using the Stale Read feature to reduce read latency and improve query performance (Experimental). • Add the Lock View feature to facilitate database

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 399 8.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 400 8.1 · · · · · · · · · · · · · · · · · · · · · · · · · 472 8.8 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 472 8.8.1 Common causes · · · · · · · · · · · the performance of TiDB Data Migration (DM) so that data is migrated from MySQL to TiDB with lower latency • Support parallel import using multiple TiDB Lightning instances to improve the effi- ciency of

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 493 8.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 494 8.1 · · · · · · · · · · · · · · · · · · · · · · · · · 569 8.9 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 569 8.9.1 Common causes · · · · · · · · · · · use IndexLookup and Limit and that Limit cannot be pushed down to IndexScan, there might be high latency for the read queries and high CPU usage for TiKV’s unified �→ read �→ pool. In such cases, because

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 379 8.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 380 8.1 · · · · · · · · · · · · · · · · · · · · · · · · · 452 8.8 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 452 8.8.1 Common causes · · · · · · · · · · · At a certain interval, TiKV inspects the latency of the Raftstore component. This configu- ration item specifies the interval of the inspection. If the latency exceeds this value, this inspection is marked

· · · · · · · · · · · · · · · · · · · · · · · 1221 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1232 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions· 1.5 TiCDC Performance Analysis and Tuning Methods · · · · · · · · · · · · · · · · · 1357 11.1.6 Latency Breakdown · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · but certain TiDB servers experience resource exhaustion leading to a significant in- crease in latency. To address this issue, TiProxy provides dynamic migration for connection, which allows connections

10 Does TiCDC support outputting data changes in the Canal protocol? · 1205 7.7.11 Why does the latency from TiCDC to Kafka become higher and higher?1206 7.7.12 When TiCDC replicates data to Kafka, can mode and BR from upstream? · 1210 7.7.26 After a changefeed resumes from pause, its replication latency gets higher and higher and returns to normal only after a few minutes. Why? · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1655 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1667 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions·

· · · · · · · · · · · · · · · · · · · · · · · 1356 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1368 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions· 10 TiCDC Performance Analysis and Tuning Methods · · · · · · · · · · · · · · · · · 1527 11.1.11 Latency Breakdown · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2.1.1 Performance • Introduce parallel batching modes for TSO requests, reducing TSO retrieval latency #54960 #8432 @MyonKeminta Before v8.4.0, when requesting TSO from PD, TiDB collects multiple TSO

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 944 10.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 945 10 · · · · · · · · · · · · · · · · · · · · · · · · 1025 10.9 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 1025 10.9.1 Common causes · · · · · · · · · · supports splitting large transactions during replication, which significantly reduces replication latency caused by large transactions • The optimistic mode for merging and migrating sharded tables becomes

· · · · · · · · · · · · · · · · · · · · · · · 1269 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1280 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions· 1.5 TiCDC Performance Analysis and Tuning Methods · · · · · · · · · · · · · · · · · 1406 11.1.6 Latency Breakdown · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · statistics from multiple perspectives, such as the concurrency model and memory allocation, to reduce latency, improve throughput, and avoid slow loading of statistics that affect business scaling. Adaptive