2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache Zookeeper ETCD … 2018年PostgreSQL中国技术大会 APM SkyWalking：基于分布式追踪的性能监控系统。项目的核心目标是针对微服务、Cloud Native、容 器化架构，并提供应用性能监控和分布式调用链追踪能力。 SkyWalking已于2017年12月8日，进入Apache孵化器。 2018年PostgreSQL中国技术大会 拓扑图 2018年PostgreSQL中国技术大会

Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 Saga Apache ServiceComb Apache ShardingSphere 分布式事务架构 数据库治理 注册中心 配置劢态化推劢 配置统一管理 数据库从库禁用 应用实例熔断 业务代码 ShardingSphere 业务代码 ShardingSphere

Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 生态层：通过三个接口分别 实现数据库协议、 SQL 方言和 数据库存储对接，用于打造异 构数据网关； 连接 连接是 ShardingSphere 的基础能 力，可以有效简化数据和应用之间 的连接。连接的设计要点在于强大 的数据库的兼容性，在应用和数据 之间搭建了一层与具体数据库实现 无关的桥梁，为增量能力提供了基 础。 增量 增量是 ShardingSphere 的主要能 力，在拦截访问数据库流量的前提

3 1.1.5 如何参与 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 设计哲学 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.1 连接：打造数据库上层标准 . . . . 6 ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3.2 运行模式 . . . . . 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.5 相关参考 . . . . . . . . . .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 功能列表 . . . . 87 3.7.5 实现原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 整体架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 影子规则 . . . . . 101 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.9 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.9.1 背景

1.3 产品优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 设计哲学 3 2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . .

1.3 产品优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 设计哲学 3 2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 i 3.2 运行模式 . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .

1.3 产品优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 设计哲学 3 2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 ShardingSphere‐Proxy 独立部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3.3 混合部署架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 运行模式 10 4.1 3.4 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 复杂的主从数据库架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 8.3.5 相关参考 . . . . . . . . . .

2 1.1.3 ShardingSphere‐Sidecar（TODO） . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.1.4 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 解决方案 . . . . 2 ShardingSphere‐Proxy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.1.3 混合架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 i 3.2 运行模式 . . 3.3.4 注意事项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4 可插拔架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.4.1 背景 .