Go GC: Latency Problem Solved Rick Hudson Google Engineer GopherCon Denver July 8, 2015 Google Confidential and Proprietary My Codefendants: The Cambridge Runtime Gang https://upload.wikimedia.o Software++ Hardware++ Hardware++ HW++ HW++ Software++ Software++ Software++ #1 Barrier: GC Latency Google Confidential and Proprietary When is the best time to do a GC? When nobody is looking. Google Confidential and Proprietary Or Trade Throughput for Reduced GC Latency Google Confidential and Proprietary Latency Nanosecond 1: Grace Hopper Nanosecond 11.8 inches Microsecond 5

Michael A Maniscalco ○ Software Architect and Principal Developer at Lime Trading ○ We develop low latency market data and trading software for use in HFT ● Personal ○ github.com/buildingcpp ■ Work Contracts

2012 ... ● Latency in scheduler ■ case study: batching client requests ● Memory control ■ case study: transparent huge pages ● GC Related ■ case study: GC sweep caused latency jitter ■ case study: Lock Lock and NUMA aware Agenda Part I - Latency in scheduler ● The client consists of a goroutine and a channel ○ The channel batch the request ○ A goroutine run read-send-recv loop Background Description is reasonable ● But the RPC metrics show a high latency Investigation ● Network IO is ready => goroutine wake up == 4.3ms ○ Sometime even 10ms+ latency here! ○ The time spend on runtime schedule is

hardware utilization and memory bandwidth, while reducing memory, cache, and peripheral access latency, thereby significantly improving application performance on Kunpeng servers. WayCa Scheduler offers hardware clusters and NUMA nodes. This fully utilizes L3 cache and memory resources, reducing system latency and improving throughput. • Furthermore, WayCa Scheduler provides user-mode topology support, which services are classified into high- and low-priority services based on latency sensitivity, and deployment accordingly. Latency-sensitive services are recommended for high-priority VMs, such as web services

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 364 8.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 365 8.1 · · · · · · · · · · · · · · · · · · · · · · · · · 436 8.8 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 436 8.8.1 Common causes · · · · · · · · · · · Support directly reading data from the local replica using the Stale Read feature to reduce read latency and improve query performance (Experimental). • Add the Lock View feature to facilitate database

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 399 8.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 400 8.1 · · · · · · · · · · · · · · · · · · · · · · · · · 472 8.8 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 472 8.8.1 Common causes · · · · · · · · · · · the performance of TiDB Data Migration (DM) so that data is migrated from MySQL to TiDB with lower latency • Support parallel import using multiple TiDB Lightning instances to improve the effi- ciency of

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 493 8.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 494 8.1 · · · · · · · · · · · · · · · · · · · · · · · · · 569 8.9 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 569 8.9.1 Common causes · · · · · · · · · · · use IndexLookup and Limit and that Limit cannot be pushed down to IndexScan, there might be high latency for the read queries and high CPU usage for TiKV’s unified �→ read �→ pool. In such cases, because

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 379 8.1.2 2. Latency increases significantly· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 380 8.1 · · · · · · · · · · · · · · · · · · · · · · · · · 452 8.8 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · · · · · · · 452 8.8.1 Common causes · · · · · · · · · · · At a certain interval, TiKV inspects the latency of the Raftstore component. This configu- ration item specifies the interval of the inspection. If the latency exceeds this value, this inspection is marked

· · · · · · · · · · · · · · · · · · · · · · · 1221 10.2.4 Troubleshoot Increased Read and Write Latency · · · · · · · · · · · · · · · · · · · 1232 10.2.5 Troubleshoot Write Conflicts in Optimistic Transactions· 1.5 TiCDC Performance Analysis and Tuning Methods · · · · · · · · · · · · · · · · · 1357 11.1.6 Latency Breakdown · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · but certain TiDB servers experience resource exhaustion leading to a significant in- crease in latency. To address this issue, TiProxy provides dynamic migration for connection, which allows connections