Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2 2018年PostgreSQL中国技术大会 分布式事务 2018年PostgreSQL中国技术大会 分布式事务 两（三）阶段事务 柔性事务 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 2018年PostgreSQL中国技术大会 Saga Apache ServiceComb

ShardingSphere(Incubating) 云架构演化 京东数科-张亮（email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 发展历程 2015.10 ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 资源按需伸缩 自劢化部署&管理 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 Saga Apache ServiceComb Apache ShardingSphere 分布式事务架构 数据库治理 注册中心 配置劢态化推劢 配置统一管理 数据库从库禁用 应用实例熔断 业务代码

Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技，负责数据库产品研发，热爱开源，关注数据库生态，目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 品 架 构 部 署 架 构 l ShardingSphere-JDBC 采用无中心化架 构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用； l ShardingSphere-Proxy 提供静态入口 以及异构语言的支持，独立于应用程序 部署，适用于 OLAP 应用以及对分片数 据库进行管理和运维的场景。 整 体 架 构 l L1 内核层：面向数据库内核， 包括数据库事务引擎，查询优

com/apache/shardingsphere OpenSEC: https://community.sphere-ex.com 文字 Apache ShardingSphere Overview Shadow DB 应用场景 Shadow DB 架构设计 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow database-shadow 数据路由 cyborg-database-shadow sw8-correlation: cyborg-flow=true CyborgFlow POC1 文字 直接调用服务应用模拟生产环境调用 调用 cyborg-flow-gateway 网关模拟压测环境调用 CyborgFlow POC2 文字 真实流量的调用链路 压测流量的调用链路 CyborgFlow POC3

. . 69 导览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 应用性能监控集成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 Agent 集成 . . . . . . . 261 结束 ShardingSphere‐Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 应用配置项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 4.4.3 使用手册 . . 285 7.6 如果只有部分数据库分库分表，是否需要将不分库分表的表也配置在分片规则中？ . . . 285 7.7 ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的自增主键？ . . 286 vii 7.8 指 定 了 泛 型 为 Long 的 SingleKeyTableShardingAlgorithm， 遇 到 ClassCastException:

. . 51 导览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 应用性能监控集成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Agent 集成 . . . . . . 204 结束 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 应用配置项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 v 5.4.3 使用手册 数据库的上层视角，关注他们之间的协作多于数据库自身。 连接、增量和可插拔是 Apache ShardingSphere 的核心概念。 • 连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服

. . . . . . . . . . . . . . . . . . . . . . 308 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 7.8.17 [数据加密] 数据库的上层视角，关注他们之间的协作多于数据库自身。 连接、增量和 可插拔是 Apache ShardingSphere 的核心概念。 • 连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere document

. . . . . . . . . . . . . . . . . . . . . . 304 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304 7.8.17 [数据加密] 数据库的上层视角，关注他们之间的协作多于数据库自身。 连接、增量和可插拔是 Apache ShardingSphere 的核心概念。 • 连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 JDBC、Proxy 和 Sidecar（规划中）这 3 款既能够独立部署，又支持混合部署 配合使用的产品组成。它们均提供标准化的基于数据库作为存储节点的增量功能，可适用于如 Java 同构、 异构语言、云原生等各种多样化的应用场景。 关系型数据库当今依然占有巨大市场份额，是企业核心系统的基石，未来也难于撼动，我们更加注重在 原有基础上提供增量，而非颠覆。 1 Apache ShardingSphere document

. 71 6.3.1 部署指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 应用部署 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 运维平台和 RESTFul 2 金融行业 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.3 数字化与云服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 9.2.4 出行 . . . . . . . & 功能 本章节阐述 ElasticJob 相关的概念与功能，更多使用细节请阅读用户手册。 5.1 调度模型 ElasticJob 是面向进程内的线程级调度框架。通过它，作业能够透明化的与业务应用系统相结合。它能够 方便的与 Spring 、Dubbo 等 Java 框架配合使用，在作业中可自由使用 Spring 注入的 Bean，如数据源连 接池、Dubbo 远程服务等，更加方便的贴合业务开发。

ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.1 应用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.2 使用限制 . . . . . . . . . . . . . . . . . . . . . . . . 319 7.8.16 [分片] ShardingSphere 除了支持自带的分布式自增主键之外，还能否支持原生的 自增主键？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319 7.8.17 [数据加密] 数据库的上层视角，关注他们之间的协作多于数据库自身。 连接、增量和 可插拔是 Apache ShardingSphere 的核心概念。 • 连接：通过对数据库协议、SQL 方言以及数据库存储的灵活适配，快速的连接应用与多模式的异构 数据库； • 增量：获取数据库的访问流量，并提供流量重定向（数据分片、读写分离、影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服