Introduction Intro 2.0 to 2.2.1 2.4 - 2.6 Beyond Outro Prometheus Deep Dive Monitoring. At scale. Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz 2018-12-12 Richard Hartmann & Frederic environments in mind It’s the second project to ever join CNCF and the de facto standard in cloud-native monitoring Kubelets, sidecars, microservices, ALL the cloud-native But it’s a monolithic application . What do you need for operations? Power and cooling Network connectivity Observability, a.k.a. Monitoring The rest you can fix Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz Prometheus

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 116 3.4.6 Performance monitoring · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 116 3.4.7 Troubleshooting consumption· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1037 8.6.8 Monitoring metrics and charts · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1040 cluster and its services· · · · · · · · · · · · · · · · · 1152 9 Monitor and Alert 1152 9.1 TiDB Monitoring Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1152 9.1

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113 3.4.6 Performance monitoring · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113 3.4.7 Troubleshooting consumption· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1032 8.6.8 Monitoring metrics and charts · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1035 cluster and its services· · · · · · · · · · · · · · · · · 1147 9 Monitor and Alert 1147 9.1 TiDB Monitoring Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1147 9.1

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113 3.4.6 Performance monitoring · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 113 3.4.7 Troubleshooting consumption· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1029 8.6.8 Monitoring metrics and charts · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1032 cluster and its services· · · · · · · · · · · · · · · · · 1144 9 Monitor and Alert 1144 9.1 TiDB Monitoring Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1144 9.1

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 143 3.4.6 Performance monitoring · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 143 3.4.7 Troubleshooting · · · · · · · · · · · · · · 988 7.4.1 TiCDC Monitoring Metrics Summary· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 988 7.4.2 TiCDC Monitoring Metrics Details · · · · · · · · · · · · · · · consumption· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1417 8.6.8 Monitoring metrics and charts · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1420

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 138 3.4.6 Performance monitoring · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 138 3.4.7 Troubleshooting consumption· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1118 8.6.8 Monitoring metrics and charts · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1121 cluster and its services· · · · · · · · · · · · · · · · · 1238 9 Monitor and Alert 1238 9.1 TiDB Monitoring Framework Overview · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1238 9.1

to identify the real problem, so we use temporary solutions in the meantime. 138Monitoring 139MONITORING 140 How it was when I started to work: Complaints Look at the event serviceMONITORING Python script to analyze the text and export to an Excel file (sort, filter, plot). How I started:MONITORING 143 ⊡ Started reading events for specific units, but it was uncomfortable. ⊡ Two students Python script to analyze the text and export to an Excel file (sort, filter, plot). How I started:MONITORING 144 ⊡ Started reading events for specific units, but it was uncomfortable. ⊡ Two students

io 唐鹏程 才云科技TOC Solving issues in a new way Monitoring your service mesh Old-school monitoringPrometheus + Kubernetes ● A time series based monitoring system. ● Borgmon for mere mortals. ● Seamless service which resolves to all the thanos query, sidecar and store pod IPs in the cluster.Voila!Monitoring your service meshMonitoring your service mesh - istio ● https://www.katacoda.com/courses/istio prometheus to collect data from istio components. ● Deploy example bookinfo app using istio.Monitoring your service mesh - istio ● https://www.katacoda.com/courses/istio /deploy-istio-on-kubernetes

Interfaces ⊡ Simulators ⊡ Logs ⊡ Monitoring⊡ Operating Systems ⊡ Threads ⊡ Layer Separation ⊡ Network Problems ⊡ External Interfaces ⊡ Simulators ⊡ Logs ⊡ Monitoring❖ Timing constraints are extremely Threads ⊡ Layer Separation ⊡ Network Problems ⊡ External Interfaces ⊡ Simulators ⊡ Logs ⊡ Monitoring⊡ Loss of data in big sites (>5000 meters) ⊡ Loss of data when there were network errors None Threads ⊡ Layer Separation ⊡ Network Problems ⊡ External Interfaces ⊡ Simulators ⊡ Logs ⊡ Monitoring⊡ Add timestamps with milliseconds ⊡ Add metadata (log level, file, line and thread) ⊡ Use the same

data are collected at remote points and are subsequently transmitted to receiving equipment for monitoring 1. Create telemetry in application & environments (to include production, pre-production, and what’s interesting to development. Operations don’t just monitor what’s up or down. ii. Modern Monitoring architecture 1. Data Collection at business logic, application, & environments layer a. Events logs/events into metrics to enable statistical analysis iv. Adrian Cockcraft – “Monitoring is so important that our monitoring systems need to be more available and scalable than the systems being monitored