. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479 12 技术参考 481 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481 12.2 数据库网关 将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有 的可能， 18 Apache ShardingSphere document 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。

运行测试用例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325 7 技术参考 326 7.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326 7.2 数据库网关 提供基于数据全场景的迁移能力，可 应对业务数据量激增的场景。 联 邦 查询 联邦查询，是面对复杂数据环境下利用数据的有效手段之一。ShardingSphere 提供跨数据源 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453 ix 12 技术参考 455 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455 12.2 数据库网关 将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有 的可能， 18 Apache ShardingSphere document 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432 12 技术参考 434 12.1 数据兼容性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434 12.2 数据库网关 将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有 的可能， 18 Apache ShardingSphere document 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。

并无统一标准的数据库的访问协议和 SQL 方言，以及各种数据库带来的不同运维方法和监控工具的异同， 让开发者的学习成本和 DBA 的运维成本不断增加。提升与原有数据库兼容度，是在其之上提供增量服务 的前提。 SQL 方言和数据库协议的兼容，是数据库兼容度提升的关键点。 18 Apache ShardingSphere document, v5.1.1 4.1.3 目标 尽量多的兼容各种数据库，让用户零使用成本，是 将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有 单点的访问量；分表虽然无法缓解数据库压力，但却能够提供尽量将分布式事务转化为本地事务的可能， 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。

将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有 单点的访问量；分表虽然无法缓解数据库压力，但却能够提供尽量将分布式事务转化为本地事务的可能， 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 原本的顺序依次进行解析，性能很高。考虑到各种数据库 SQL 方言的 异同，在解析模块提供了各类数据库的 SQL 方言字典。 SQL 解析引擎 历史 SQL 解析作为分库分表类产品的核心，其性能和兼容性是最重要的衡量指标。ShardingSphere 的 SQL 解 析器经历了 3 代产品的更新迭代。 第一代 SQL 解析器为了追求性能与快速实现，在 1.4.x 之前的版本使用 Druid 作为

并无统一标准的数据库的访问协议和 SQL 方言，以及各种数据库带来的不同运维方法和监控工具的异同， 让开发者的学习成本和 DBA 的运维成本不断增加。提升与原有数据库兼容度，是在其之上提供增量服务 的前提。 SQL 方言和数据库协议的兼容，是数据库兼容度提升的关键点。 18 Apache ShardingSphere document, v5.1.0 4.1.3 目标 尽量多的兼容各种数据库，让用户零使用成本，是 将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有 单点的访问量；分表虽然无法缓解数据库压力，但却能够提供尽量将分布式事务转化为本地事务的可能， 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。

并无统一标准的数据库的访问协议和 SQL 方言，以及各种数据库带来的不同运维方法和监控工具的异同， 让开发者的学习成本和 DBA 的运维成本不断增加。提升与原有数据库兼容度，是在其之上提供增量服务 的前提。 SQL 方言和数据库协议的兼容，是数据库兼容度提升的关键点。 18 Apache ShardingSphere document, v5.1.2 4.1.3 目标 尽量多的兼容各种数据库，让用户零使用成本，是 将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有 单点的访问量；分表虽然无法缓解数据库压力，但却能够提供尽量将分布式事务转化为本地事务的可能， 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。

并无统一标准的数据库的访问协议和 SQL 方言，以及各种数据库带来的不同运维方法和监控工具的异同， 让开发者的学习成本和 DBA 的运维成本不断增加。提升与原有数据库兼容度，是在其之上提供增量服务 的前提。 SQL 方言和数据库协议的兼容，是数据库兼容度提升的关键点。 17 Apache ShardingSphere document, v5.0.0 4.1.3 目标 尽量多的兼容各种数据库，让用户零使用成本，是 将数据存储至原生支持分布式的 NoSQL 的尝 试越来越多。但 NoSQL 对 SQL 的不兼容性以及生态圈的不完善，使得它们在与关系型数据库的博弈中始 终无法完成致命一击，而关系型数据库的地位却依然不可撼动。 数据分片指按照某个维度将存放在单一数据库中的数据分散地存放至多个数据库或表中以达到提升性能 瓶颈以及可用性的效果。数据分片的有效手段是对关系型数据库进行分库和分表。分库和分表均可以有 单点的访问量；分表虽然无法缓解数据库压力，但却能够提供尽量将分布式事务转化为本地事务的可能， 一旦涉及到跨库的更新操作，分布式事务往往会使问题变得复杂。使用多主多从的分片方式，可以有效 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。

年 5 月 28 日成为 Apache ShardingSphere 的子项目。欢迎通过邮件列表参与讨论。 1 1 简介 使用 ElasticJob 能够让开发工程师不再担心任务的线性吞吐量提升等非功能需求，使他们能够更加专注 于面向业务编码设计；同时，它也能够解放运维工程师，使他们不必再担心任务的可用性和相关管理需 求，只通过轻松的增加服务节点即可达到自动化运维的目的。 ElasticJob 只运行分配给该 服务器的分片。随着服务器的增加或宕机，ElasticJob 会近乎实时的感知服务器数量的变更，从而重新为 分布式的任务服务器分配更加合理的任务分片项，使得任务可以随着资源的增加而提升效率。 任务的分布式执行，需要将一个任务拆分为多个独立的任务项，然后由分布式的服务器分别执行某一个 或几个分片项。 举例说明，如果作业分为 4 片，用两台服务器执行，则每个服务器分到 2 片，分别负责作业的 行。也称为异步执行。 5.3.3 适用场景 开启失效转移功能，ElasticJob 会监控作业每一分片的执行状态，并将其写入注册中心，供其他节点感知。 在一次运行耗时较长且间隔较长的作业场景，失效转移是提升作业运行实时性的有效手段；对于间隔较 短的作业，会产生大量与注册中心的网络通信，对集群的性能产生影响。而且间隔较短的作业并未见得 关注单次作业的实时性，可以通过下次作业执行的重分片使所有的分片正确执行，因此不建议短间隔作