Apache ShardingSphere 中文文档 5.0.0-alpha
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 document, v5.0.0-beta 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是分库分表的标准解决方案。 3.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分库分表之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就 是其中的重要挑战之一。他们需要知道 commit 指令进行最终提交;若有任意 XAResource 的反馈结 果不正确,则调用 rollback 指令进行回滚。在事务管理器发出提交指令后,任何 XAResource 产生的 异常都会通过恢复日志进行重试,以保证提交阶段的操作原子性,和数据强一致性。 例如: XAResource1.prepare ## ack: yes XAResource2.prepare ## ack: yes0 码力 | 301 页 | 3.44 MB | 1 年前3Apache ShardingSphere v5.5.0 中文文档
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 库(或表),奇数主键的记录放入 1 库(或表),如下图所示。 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是数据分片的标准解决方案。 8.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; • MySQL 事务块内,SQL 执行出现异常,执行 Commit,数据保持一致; • 配置 XA 事务后,存储单元名称最大长度不超过 45 个字符。 BASE 事务 不支持项0 码力 | 557 页 | 4.61 MB | 1 年前3Apache ShardingSphere 中文文档 5.0.0
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 库(或表),奇数主键的记录放入 1 库(或表),如下图所示。 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是数据分片的标准解决方案。 4.2.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 事务 支持项 • 支持数据分片后的跨库事务; • 两阶段提交保证操作的原子性和数据的强一致性; • 服务宕机重启后,提交/回滚中的事务可自动恢复; • 支持同时使用 XA 和非 XA 的连接池。 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据。 4.3. 分布式事务 40 Apache ShardingSphere document, v5.0.0 柔性事务 支持项0 码力 | 385 页 | 4.26 MB | 1 年前3Apache ShardingSphere 中文文档 5.1.1
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 ShardingSphere document, v5.1.1 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是数据分片的标准解决方案。 4.3.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 两阶段提交保证操作的原子性和数据的强一致性; • 服务宕机重启后,提交/回滚中的事务可自动恢复; • 支持同时使用 XA 和非 XA 的连接池。 4.4. 分布式事务 45 Apache ShardingSphere document, v5.1.1 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据。 • Savepoint。 • 事务块内,SQL 执行出现异常,执行 Commit,数据保持一致。0 码力 | 409 页 | 4.47 MB | 1 年前3Apache ShardingSphere 中文文档 5.2.0
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 库(或表),奇数主键的记录放入 1 库(或表),如下图所示。 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是数据分片的标准解决方案。 3.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 两阶段提交保证操作的原子性和数据的强一致性; • 服务宕机重启后,提交/回滚中的事务可自动恢复; • 支持同时使用 XA 和非 XA 的连接池。 3.2. 分布式事务 29 Apache ShardingSphere document, v5.2.0 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; • MySQL 事务块内,SQL 执行出现异常,执行 Commit,数据保持一致。0 码力 | 449 页 | 5.85 MB | 1 年前3Apache ShardingSphere 中文文档 5.4.1
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 库(或表),奇数主键的记录放入 1 库(或表),如下图所示。 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是数据分片的标准解决方案。 8.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; • MySQL 事务块内,SQL 执行出现异常,执行 Commit,数据保持一致; • 配置 XA 事务后,存储单元名称最大长度不超过 45 个字符。 BASE 事务 不支持项0 码力 | 530 页 | 4.49 MB | 1 年前3Apache ShardingSphere 中文文档 5.1.0
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 ShardingSphere document, v5.1.0 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是数据分片的标准解决方案。 4.3.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 两阶段提交保证操作的原子性和数据的强一致性; • 服务宕机重启后,提交/回滚中的事务可自动恢复; • 支持同时使用 XA 和非 XA 的连接池。 4.4. 分布式事务 45 Apache ShardingSphere document, v5.1.0 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据。 通过 XA 语句控制的分布式事务 • 通过 XA START 可以手动开启0 码力 | 406 页 | 4.40 MB | 1 年前3Apache ShardingSphere 中文文档 5.3.2
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 库(或表),奇数主键的记录放入 1 库(或表),如下图所示。 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是数据分片的标准解决方案。 8.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; • MySQL 事务块内,SQL 执行出现异常,执行 Commit,数据保持一致; • 配置 XA 事务后,存储单元名称最大长度不超过 45 个字符。 BASE 事务 不支持项0 码力 | 508 页 | 4.44 MB | 1 年前3Apache ShardingSphere 中文文档 5.1.2
都落在数据库之上。而单一的数据节点,或者简单的主从架构,已经越来越难以承担。数据库的可用性, 已成为整个系统的关键。 从运维成本方面考虑,当一个数据库实例中的数据达到阈值以上,对于 DBA 的运维压力就会增大。数据 备份和恢复的时间成本都将随着数据量的大小而愈发不可控。一般来讲,单一数据库实例的数据的阈值 在 1TB 之内,是比较合理的范围。 在传统的关系型数据库无法满足互联网场景需要的情况下,将数据存储至原生支持分布式的 ShardingSphere document, v5.1.2 水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是数据分片的标准解决方案。 4.3.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题,但分布式的架构在获得了收益的同时,也 引入了新的问题。 面对如此散乱的分片之后的数据,应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 Commit,事务自动回滚; • 支持数据分片后的跨库事务; • 两阶段提交保证操作的原子性和数据的强一致性; • 服务宕机重启后,提交/回滚中的事务可自动恢复; • 支持同时使用 XA 和非 XA 的连接池。 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; • MySQL 事务块内,SQL 执行出现异常,执行 Commit,数据保持一致。 4.4. 分布式事务 46 Apache0 码力 | 446 页 | 4.67 MB | 1 年前3Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日
的分片分配给另外节点,导致同一分片在两个节点中同时执行。当作业节点恢复与注册中心联系时,将 重新参与分片并恢复执行新的分配到的分片。 10.5 ElasticJob 有何使用限制? 回答: • 作业启动成功后修改作业名称视为新作业,原作业废弃。 • 一旦有服务器波动,或者修改分片项,将会触发重新分片;触发重新分片将会导致运行中的流式处 理的作业在执行完本次作业后不再继续执行,等待分片结束后再恢复正常。 • 开启 monitorExecution0 码力 | 98 页 | 1.97 MB | 1 年前3
共 10 条
- 1