TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table GetGoroutineStats()
 
 executeSQL()
 
 end := GetGoroutineStats()
 
 queryCost := end.Sub(begin) // 获取执⾏ SQL 消耗的 cpu stats 信息 Trace ● Use Go trace to collect runtime information. curl http://localhost:10080/debug/pprof/trace\ recordGoStart()
 
 
 // goroutine 被抢占⽽停⽌运⾏时
 traceGoPreempt()
 gp.stats.recordGoSched() // 其他的埋点代码 … ... Modify Go runtime to collect Goroutine stats ● demo: crazycs520/go # build git

TiDB在易易果集团的应⽤用 .罗瑞星 2018 / 05 / 26 ⾃自我介绍 罗瑞星 ⼤大数据⾼高级⼯工程师@51job ⼤大数据架构师@易易果集团 负责易易果集团⼤大数据⽅方向架构设计，优化；数据⼯工具及产品的开发 • 背景介绍. • TiDB的应⽤用 • 未来规划 1 2 3 ⽬目录 CONTENTS 易易果集团介绍 易易果⽣生鲜电商易易果创⽴立于2005年年， 易易果集团由易易果⽣生鲜成⽴立，未来将 ⾏行行业最⼤大的⽣生鲜电商运营平台 订单量量近20万单/天 GMV100亿/年年 实时数仓历史 接⼿手之前的实时数仓： SQLServer + 存储过程 Dblink不不好管理理，接⼊入数据有限 ⼤大促期间性能下降 不不能为外部部⻔门提供服务 DATAWAREHOUSE thinking 性能 • 能够像随时接⼊入想要的数据 不不⽤用考虑容量量，性能等问题 权限管理理 • 细化的权限管理理 易易⽤用 能够为IT其他部⻔门提供服务 数据中台的建设 选择TiDB的理理由 分布式 能够横向拓拓展 简单易易⽤用 兼容MySQL协议，⽅方便便开发与 脚本迁移. 管理理和监控 脚本化的部署，扩容； Prometheus上详细的监控； 完善的权限管理理 TiSpark 未来统⼀一的分析引擎 新版本的惊喜 • 1 历史业务已经慢慢迁移⾄至TiDB， 新的业务全部由TiDB来承接

站 云原生社区Meetup成都站 2021/07/03 基于 TiDB 的云原生数据库实践 演讲人：王天宜 PingCAP 云 原 生 社 区 M e e t u p 第 四 期 成 都 站 目录 为什么云原生数据库要拥抱 Kubernetes 什么是云原生数据库 TiDB 在 AWS 上的最佳实践 1 CONTENTS 2 3 一、什么是云原生数据库 什么是云原生 什么是云原生 2021/07/03 Cloud + Native - 位于云之中，而不是传统的数据中心 - 为云而生，在云上以最佳形式运行 - 云平台的弹性 + 分布式的优势 云原生的特点 2021/07/03 频繁发布 快速交付 快速反馈 降低发布风险 开发、测试、生产环境高度统 一 自动化部署管道、CI 工具 快速部署到生产环境 开发、运维协同工作 应用通过 rest API 通信 TiDB 要以什么样的姿态拥抱 Kubernetes 2021/07/03 TiDB 要以什么样的姿态拥抱 Kubernetes 2021/07/03 TiDB 要以什么样的姿态拥抱 Kubernetes 2021/07/03 TiDB 要以什么样的姿态拥抱 Kubernetes 2021/07/03 TiDB 要以什么样的姿态拥抱 Kubernetes

TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 • 关于TiDB的线上运维 - TiDB体系 - 业务零感知运维 Ping++原数据架构及瓶颈 实时数仓数据源挑战： • 数⼗十亿交易易量量 • 多维度联合分析 • 实时分析+报表下载 场景⼀一：实时数仓数据源⽀支撑 数仓数据源选型过程： • RDS快速上线
 最⼤大承载3个⽉月交易易量量分析 • ADS 偶发性数据延时 • ES 开发成本、复杂关联场景 场景⼀一：实时数仓数据源⽀支撑 选型TiDB的原因： • 兼容Mysql • 分布式，海海量量数据实时查询性能 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster

做分布式数据库的程序员 ● 现在能写代码的时间是奢侈品 TiDB 的亲爹之一兼首席客服和新功能的第一个用户 ● 冤有头债有主，SQL 慢了来找我。。。 偶尔玩玩音乐 ● 摇滚乐->实验音乐 Go 的粉丝！！！！ 关于 PingCAP 一个有趣的公司 信仰开源，做分布式数据库的，叫 TiDB（好像还蛮火的） TiDB 是分布式的，PingCAP 这个公司也是分布式的（北京、上海、广州、深圳、成 We're hiring! 今天的演讲内容来自我最近的一个真实经历。。。。 一个真实的故事 老板：怎么应用那么卡？ 前端开发：是不是你网络不行 老板：换了个网还是一样 前端开发：找到原因了，这个 REST API 卡了几秒返回 后端开发：这个 API 没啥逻辑，肯定是 TiDB 的问题 DBA：没有啊，我看数据库响应时间也就几 ms，肯定是你的应用写得? 后端开发：....（事后一看果然是） （事后一看果然是） Logging / Tracing / Metrics 分布式 Tracing 面临的挑战 ● 领域知识和业务强相关 ○ 工程师不会熟悉每个模块 ● 跨越多团队 / 语言 / 服务 / 模 块 / 物理机 ● 业务侵入性和性能损耗 ● 实时，秒级别有效性 行业现状 ● 起点：《Dapper, a Large-Scale Distributed Systems Tracing

PingCAP 划时代的 NewSQL 分布式关系型数据库 技术团队 刘奇 | CEO Co-Founder 前京东 / 豌豆荚资深架构师，知名开源分 布式缓存项目 Codis 作者, 国内 Go 语言 社区知名技术领袖之一 黄东旭 | CTO Co-Founder 前微软亚洲研究院 / 网易有道 / 豌豆荚 全栈工程师，架构师， Codis 共同作者, Open Source Hacker，业界知名程序员 Hacker，业界知名程序员 崔秋 | Co-Founder 前搜狗 / 豌豆荚资深后端工程师 王鉴 (John Wang) 前 LinkedIn 搜索架构师 / Twitter 早期 员工, Tech Lead，分布式搜索数据库 SenseiDB 创始人. CEO/CTO 是分布式计算领域的旗帜性人物和开源社区领袖，同时是国际知名开源项目 Codis 作者。 Codis 是基于 Redis 的分布式集群解决方案， 的分布式集群解决方案， 为用户提供在线弹性伸缩和高性能的缓存服务，该项目 目前已广泛被各大互 联网公司（百度/小米/滴滴/猎豹 等）采用。 核心技术团队均为一线互联网公司基础架构部资深架构师，有技术改变世界的强烈抱负。 2013年以后 2008年至2013年 2008年以前 • 背景：应用最为广泛的数据库；能 很好的解决复杂的数据运算及表 间处理；多用于银行、电信等传 统行业复杂业务逻辑场景中，以

· · · · · · · · · · 73 2.6.1 不支持的功能特性 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 74 2.6.2 与 MySQL 有差异的特性详细说明 · · · · · · · · · · · · · · · · · · · · · 79 2.7.3 单个 Database 的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 79 2.7.4 单个 Table 的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 79 2.7.5 单行的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · 67 2.4.1 不支持的功能特性 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 68 2.4.2 与 MySQL 有差异的特性详细说明 · · · · · · · · · · · · · · · · · · · · · 74 2.5.3 单个 Database 的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 74 2.5.4 单个 Table 的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 74 2.5.5 单行的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · 71 2.4.1 不支持的功能特性 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 71 2.4.2 与 MySQL 有差异的特性详细说明 · · · · · · · · · · · · · · · · · · · · · 76 2.5.3 单个 Database 的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77 2.5.4 单个 Table 的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77 2.5.5 单行的限制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·