侯阳 2022年1月15日 01 SphereEx 中间件研发工程师 Apache ShardingSphere Contributor 目前专注于 Shadow DB 及全链路压测相关的设计和研发 Apache ShardingSphere 发展和现状 Apache ShardingSphere 架构设计 Apache ShardingSphere Roadmap 1.x (2016) ShardingSphere Overview Shadow DB 应用场景 Shadow DB 架构设计 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow DB Scenes 4.1.1 Shadow DB API rules: - !SHADOW column: shadowMappings: shadowMappings: ds: shadow_ds Shadow DB 重构的原因 5.0.0 Shadow DB API rules: - !SHADOW enable: true dataSources: <shadow-data-source>: sourceDataSourceName: ds shadowDataSourceName: shadow_ds tables:

62 Unsupported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.8 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 4.8.1 . 64 Shadow DB Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Production DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Shadow DB . . 64 Shadow Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 Default Shadow Algorithm

3.8.8 Appendix with SQL operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.9 Shadow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.9.1 . . . . . . . . . . . . . . . . . . . . . . . . 48 Shadow Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Hint based shadow algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 Column based shadow algorithm . . . . . . . . . . . . . . . . . . . . .

3.8.8 Appendix with SQL operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.9 Shadow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.9.1 . . . . . . . . . . . . . . . . . . . . . . . . 48 Shadow Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Hint based shadow algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Column based shadow algorithm . . . . . . . . . . . . . . . . . . . . .

7 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.9 Shadow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.9.1 . . . . . . . . . . . . . . . . . . . . . . . . 51 Shadow Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Hint based shadow algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Column based shadow algorithm . . . . . . . . . . . . . . . . . . . . .

7 Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.9 Shadow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 8.9.1 . . . . . . . . . . . . . . . . . . . . . . . . 51 Shadow Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Hint based shadow algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Column based shadow algorithm . . . . . . . . . . . . . . . . . . . . .

59 Unsupported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.9 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.9.1 . . . . . . . . . . . . . . . . . . . . . . . . 60 Shadow Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . 133 Encryption Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 5.1.7 Special

61 Unsupported . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.9 Shadow DB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 4.9.1 . . . . . . . . . . . . . . . . . . . . . . . . 63 Shadow Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . 137 Encryption Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 Shadow Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 5.1.8 Special

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 4. Shadow Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . manual, we will discuss the following: • Command line options for the gfix database utility. • Shadow file handling. • Cache and buffer handling. • Transaction management. • Cache management. • Starting for Firebird 3.0.7 usage: gfix [options] plausible options are: -ac(tivate_shadow) activate shadow file for database usage -at(tach) shutdown new database attachments -b(uffers)

rules: - !SHADOW dataSources: shadowDataSource: productionDataSourceName: # 生产数据源名称 shadowDataSourceName: # 影子数据源名称 tables: : dataSourceNames: # 影子表关联影子数据源名称列表 - <shadow_data_source> shadowAlgorithmNames: # 影子表关联影子算法名称列表 - <shadow_algorithm_name> defaultShadowAlgorithmName: # 默认影子算法名称（选配项） shadowAlgorithms: <shadow_algorithm_name> (+): # 影子算法名称 type: # 影子算法类型 props: # 影子算法属性配置 60000 maxLifetimeMilliseconds: 1800000 maxPoolSize: 50 minPoolSize: 1 shadow_ds: url: jdbc:mysql://127.0.0.1:3306/shadow_ds?serverTimezone=UTC&useSSL=false username: root password: connectionTimeoutMilliseconds: