侯阳 2022年1月15日 01 SphereEx 中间件研发工程师 Apache ShardingSphere Contributor 目前专注于 Shadow DB 及全链路压测相关的设计和研发 Apache ShardingSphere 发展和现状 Apache ShardingSphere 架构设计 Apache ShardingSphere Roadmap 1.x (2016) Apache ShardingSphere Overview Shadow DB 应用场景 Shadow DB 架构设计 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow DB Scenes 4.1.1 Shadow DB API rules: - !SHADOW column: shadowMappings: ds: shadow_ds Shadow DB 重构的原因 5.0.0 Shadow DB API rules: - !SHADOW enable: true dataSources: : sourceDataSourceName: ds shadowDataSourceName: shadow_ds

Ecosystem Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 Features 18 4.1 DB Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.5 DB Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 Feature Unsupported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.9 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.9.1 Background

40 Not supported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.5 DB Gateway . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.5 Implementation classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 5.13 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 5.13.1 ShadowAlgorithm transfor‐ mation costs. Shadow Database In the full‐link stress testing scenario, ShardingSphere shadow DB is used for providing data isolation support for complex testing work. The obtained testing result

3.7 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 8.4 DB Gateway . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 8.4 Implementation classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457 10.8 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458 10.8.1 ShadowAlgorithm mode, use this parameter to connect ShardingSphere-JDBC and ShardingSphere-Proxy. # Default：logic_db databaseName (?): mode: dataSources: rules: - !FOO_XXX ... - !BAR_XXX ... props: key_1: value_1

39 Not supported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.5 DB Gateway . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.5 Implementation classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348 5.13 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348 5.13.1 ShadowAlgorithm data source. For example: db0 ├── t_order0 └── t_order1 db1 ├── t_order0 └── t_order1 The configuration of data nodes: db0.t_order0, db0.t_order1, db1.t_order0, db1.t_order1 Customized Distribution

3.7 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 8.4 DB Gateway . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 8.4 Implementation classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486 10.8 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487 10.8.1 ShadowAlgorithm mode, use this parameter to connect ShardingSphere-JDBC and ShardingSphere-Proxy. # Default：logic_db databaseName (?): mode: dataSources: rules: - !FOO_XXX ... - !BAR_XXX ... props: key_1: value_1

Ecosystem Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 Features 18 4.1 DB Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.5 DB Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.1.6 Feature Unsupported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.9 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.9.1 Background

Ecosystem Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4 Features 18 4.1 DB Compatibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1 SQL92 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4.1.5 DB Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4.2 Sharding Unsupported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.8 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.8.1 Background

YAML 配置文件 # JDBC 逻辑库名称。在集群模式中，使用该参数来联通 ShardingSphere-JDBC 与 ShardingSphere- Proxy。 # 默认值：logic_db databaseName (?): mode: dataSources: rules: - !FOO_XXX ... - !BAR_XXX ... props: key_1: value_1 指数据表在每个数据源内呈现均匀分布的态势，例如： db0 ├── t_order0 └── t_order1 db1 ├── t_order0 └── t_order1 数据节点的配置如下： db0.t_order0, db0.t_order1, db1.t_order0, db1.t_order1 自定义分布 指数据表呈现有特定规则的分布，例如： db0 ├── t_order0 └── └── t_order1 db1 ├── t_order2 8.1. 数据分片 23 Apache ShardingSphere document ├── t_order3 └── t_order4 数据节点的配置如下： db0.t_order0, db0.t_order1, db1.t_order2, db1.t_order3, db1.t_order4 分片 分片键 用于将数

YAML 配置文件 # JDBC 逻辑库名称。在集群模式中，使用该参数来联通 ShardingSphere-JDBC 与 ShardingSphere- Proxy。 # 默认值：logic_db databaseName (?): mode: dataSources: rules: - !FOO_XXX ... - !BAR_XXX ... props: key_1: value_1 分为均匀分布和自定义分布两种形式。 均匀分布 指数据表在每个数据源内呈现均匀分布的态势，例如： db0 ├── t_order0 └── t_order1 db1 ├── t_order0 └── t_order1 数据节点的配置如下： db0.t_order0, db0.t_order1, db1.t_order0, db1.t_order1 8.1. 数据分片 23 Apache ShardingSphere 自定义分布 指数据表呈现有特定规则的分布，例如： db0 ├── t_order0 └── t_order1 db1 ├── t_order2 ├── t_order3 └── t_order4 数据节点的配置如下： db0.t_order0, db0.t_order1, db1.t_order2, db1.t_order3, db1.t_order4 分片 分片键 用于将数