浅谈全链路监控： 从应用到数据库到 Runtime 黄东旭, Co-founder & CTO, PingCAP 关于我 黄东旭，联合创始人 & CTO @ PingCAP 做分布式数据库的程序员 ● 现在能写代码的时间是奢侈品 TiDB 的亲爹之一兼首席客服和新功能的第一个用户 ● 冤有头债有主，SQL 慢了来找我。。。 偶尔玩玩音乐 ● 摇滚乐->实验音乐 Go 的粉丝！！！！

. . . 47 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.10.5 相关参考 . . . . 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压 测获得测试结果可准确反应系统真实容量和性能水平。 1.1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/config-xxx.yaml。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例：/opt/ shardingsphere-proxy-bin/ 详情请参见 配置手册。 3. 引入依赖 如果后端连接 PostgreSQL 或 openGauss 数据库，不需要引入额外依赖。

1.1. 简介 4 Apache ShardingSphere document, v5.1.1 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不 路由到与之对应的数据源。 4.9. 影子库压测 57 Apache ShardingSphere document, v5.1.1 4.9.3 目标 Apache ShardingSphere 关注于全链路压测场景下，数据库层面的解决方案。将压测数据自动路由至用 户指定的数据库，是 Apache ShardingSphere 影子库模块的主要设计目标。 4.9.4 核心概念 生产库 生产环境使用的数据库。

1.1. 简介 4 Apache ShardingSphere document, v5.0.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 编辑%SHARDINGSPHERE_PROXY_HOME%/conf/server.yaml。详情请参见配置手册。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例： /Users/ss/shardingsphere‐proxy‐bin/ 2.2.2 2. 引入依赖 如果后端连接 PostgreSQL 数据库，不需要引入额外依赖。 如果后端连接 编辑%SHARDINGSPHERE_PROXY_HOME%/conf/server.yaml。详情请参见运行部署。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例： /Users/ss/shardingsphere‐proxy‐bin/ 2.2. ShardingSphere-Proxy 8 Apache ShardingSphere document

1.1. 简介 4 Apache ShardingSphere document, v5.1.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不 产数据库中真实数据造成污染。这就要求业务应用在执行 SQL 前，能够根据透传的压测标识，做好数据 分类，将相应的 SQL 路由到与之对应的数据源。 4.9.3 目标 Apache ShardingSphere 关注于全链路压测场景下，数据库层面的解决方案。将压测数据自动路由至用 户指定的数据库，是 Apache ShardingSphere 影子库模块的主要设计目标。 4.9.4 核心概念 生产库 生产环境使用的数据库。

. . . 49 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.10.5 相关参考 . . . . 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/config-xxx.yaml。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例：/opt/ shardingsphere-proxy-bin/ 详情请参见 配置手册。 3. 引入依赖 如果后端连接 PostgreSQL 或 openGauss 数据库，不需要引入额外依赖。 在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 8.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不

. . . 49 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.10.5 相关参考 . . . . 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/config-xxx.yaml。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例：/opt/ shardingsphere-proxy-bin/ 详情请参见 配置手册。 3. 引入依赖 如果后端连接 PostgreSQL 或 openGauss 数据库，不需要引入额外依赖。 在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 8.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不

1.1. 简介 4 Apache ShardingSphere document, v5.1.2 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不 路由到与之对应的数据源。 4.9. 影子库压测 58 Apache ShardingSphere document, v5.1.2 4.9.3 目标 Apache ShardingSphere 关注于全链路压测场景下，数据库层面的解决方案。将压测数据自动路由至用 户指定的数据库，是 Apache ShardingSphere 影子库模块的主要设计目标。 源 码：https://github.com/

. . . 49 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.10.5 相关参考 . . . . 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/database-xxx.yaml。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例：/opt/ shardingsphere-proxy-bin/ 详情请参见 配置手册。 3. 引入依赖 如果后端连接 PostgreSQL 或 openGauss 数据库，不需要引入额外依赖。 在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 8.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不

加密传 输时，客 户端的加 密证书文 件路径。 TiCDC tls-key- �→ file- �→ path 新增 用于指定 Pulsar 启用 TLS 加密传 输时，客 户端的加 密私钥路 径。 53 2.2.2.5 系统表 • 新增系统表INFORMATION_SCHEMA.TIDB_INDEX_USAGE 和INFORMATION_SCHEMA.CLUSTER_TIDB_INDEX_USAGE C 部署。 本文在创建测试集群时，已经启动了一个 TiCDC 节点，因此可以直接进行 changefeed 的配置。 2. 创建同步任务。 在上游集群中，执行以下命令创建从上游到下游集群的同步链路： tiup cdc cli changefeed create --server=http://172.16.6.122:8300 --sink-uri="mysql://root: �→ @172 +-------------------------+ 1 row in set (0.00 sec) ``` 6.4.10.4 第 4 步：平滑切换业务 通过 TiCDC 创建上下游的同步链路后，原集群的写入数据会以非常低的延迟同步到新集群，此时可以逐步将 读流量迁移到新集群了。观察一段时间，如果新集群表现稳定，就可以将写流量接入新集群，步骤如下： 1. 停止上游集群的写业务。确认上游数