Go runtime related problems in TiDB production environment About me ● Arthur Mao(毛康力), Senior Engineer@PingCAP ● TiDB core developer (top3 contributor) ● GitBook about golang internals (@tiancaiamao) not exhausted, but where is the bottleneck? Description ● The table is wide in the customer environment ○ CPU usage is higher with less columns ● The deployment does not consider NUMA ○ CPU usage is

Focused on version control and automated environment creation – time reduced from 8 weeks to 1 day b. ENABLE ON-DEMAND CREATION OF DEV, TEST, AND PRODUCTION ENVRIONMENTS i. Major contributing cause behaves in a production-like environment ii. Don’t just document the environment specifications 1. Create a common build mechanism to create it on demand 2. Codified in automated environment build process everything, everything is checked into version control 1. Application code & dependencies 2. Environment scripts & creation tools 3. DB scripts and reference data 4. Containers 5. Automated tests

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 114 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 119 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 137 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 635 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 638 4.13.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 119 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 124 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 142 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 640 4.13 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 643 4.13.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 89 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 94 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 112 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 112 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 551 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 554 4.12.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 89 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 94 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 112 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 112 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 551 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 554 4.12.1 Gitpod · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 92 3.1.2 Simulate production deployment on a single machine· · · · · · · · · · · · · · · · 97 3.1.3 What’s next · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 115 3.4.3 Environment preparation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 115 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 554 4.12 Cloud Native Development Environment · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 557 4.12.1 Gitpod · · · · · ·

operations and automation forward by “light-years” and had performed huge number of production deployments. g. INJECT PRODUCTION FAILURES TO ENABLE RESILIENCE AND LEARNING i. Crumple zones in cars – build in issues away from critical areas. ii. Michael Nygard, author of Release It! Design and Deploy Production-Ready Software, “If you do not design your failure modes, then you will get whatever unpredictable—and operations influence components used in production or have the ability to not be responsible for unsupported platforms ii. Systematically review production infrastructure and services for items that

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.11 New configuration and environment management . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.12 Multi-revision cache . . . . . . . . . . . . . . . . . . 142 5 Devops guide 145 5.1 Using ConanCenter packages in production environments . . . . . . . . . . . . . . . . . . . . . . . 145 5.2 Local Recipes Index Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 689 8.7 Environment variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.11 New configuration and environment management . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.12 Multi-revision cache . . . . . . . . . . . . . . . . . . 142 5 Devops guide 145 5.1 Using ConanCenter packages in production environments . . . . . . . . . . . . . . . . . . . . . . . 145 5.2 Local Recipes Index Repository . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687 8.7 Environment variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716