Apache ShardingSphere ElasticJob 中文文档 2023 年 11 月 01 日
开启失效转移功能,ElasticJob 会监控作业每一分片的执行状态,并将其写入注册中心,供其他节点感知。 在一次运行耗时较长且间隔较长的作业场景,失效转移是提升作业运行实时性的有效手段;对于间隔较 短的作业,会产生大量与注册中心的网络通信,对集群的性能产生影响。而且间隔较短的作业并未见得 关注单次作业的实时性,可以通过下次作业执行的重分片使所有的分片正确执行,因此不建议短间隔作 业开启失效转移。 另外需要注意的是,作业本身的幂等性,是保证失效转移正确性的前提。 态,可保证数据不会重复选取。 maxTimeDiffSeconds: 如果时间误差超过配置秒数则作业启动时将抛异常。 reconcileIntervalMinutes: 在分布式的场景下由于网络、时钟等原因,可能导致 ZooKeeper 的数据与真实运行的作业产生不一致,这 种不一致通过正向的校验无法完全避免。需要另外启动一个线程定时校验注册中心数据与真实作业状态 的一致性,即维持 ElasticJob 银盛支付 众安保险 金财互联 连连支付 耀莱在线 浙江汇信科技 捞财宝 卡牛信用管家 借贷宝 金汇金融 91 科技集团 9.2.3 数字化与云服务 云嘉云计算 金柚网 树熊网络 南方电网深圳数研院 9.2.4 出行 吉祥航空 曹操出行 途虎养车 首汽约车 iTrip 爱去 卖好车 9.2. 谁在使用 ElasticJob? 85 Apache ShardingSphere0 码力 | 98 页 | 1.97 MB | 1 年前3Apache ShardingSphere 中文文档 5.4.1
定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; 不支持子查询中包含加密字段,并且外层投影使用星号的 SQL。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/config-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考0 码力 | 530 页 | 4.49 MB | 1 年前3Apache ShardingSphere 中文文档 5.3.2
定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; 不支持子查询中包含加密字段,并且外层投影使用星号的 SQL。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/config-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考0 码力 | 508 页 | 4.44 MB | 1 年前3MyBatis 框架尚硅谷 java 研究院版本:V 1.0
9 jdbc.username=root jdbc.password=12343)在 environment 元素的 dataSource mybatis 初始化的时候,告诉 mybatis 需要引入哪些 Mapper 映射文件 2) mapper 逐个注册 SQL 映射文件 resource : 引入类路径下的文件 url : 引入网络路径或者是磁盘路径下的文件 class : 引入 Mapper 接口. 有 SQL 映射文件 , 要求 Mapper 接口与 SQL 映射文件同名同位置. 没有 SQL 映射文件 , 使用注解在接口的方法上写 0 码力 | 44 页 | 926.54 KB | 1 年前3Apache ShardingSphere v5.5.0 中文文档
定理所指导下,分布式事务必然有所取舍。Apache ShardingSphere 希望能够将分布式事务的选择权交 给使用者,在不同的场景使用最适合的分布式事务解决方案。 LOCAL 事务 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 不支持项 • 服务宕机后,在其它机器上恢复提交/回滚中的数据; UNION、INTERSECT、EXCEPT 等集合运算语句中包含加密列。 其他: • 加密规则中配置的加密列、辅助查询列、LIKE 查询列等需要和数据库中的列保持大小写一致。 8.8 数据脱敏 8.8.1 背景 随着《网络安全法》的颁布施行,对个人隐私数据的保护已经上升到法律层面。传统的应用系统普遍缺 少对个人隐私数据的保护措施。数据脱敏,可实现在不需要对生产数据库中的数据进行任何改变的情况 下,依据用户定义的脱 proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/database-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考0 码力 | 557 页 | 4.61 MB | 1 年前3Apache ShardingSphere 中文文档 5.2.0
完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持 Savepoint 嵌套事务; proxy docker cp tmp:/opt/shardingsphere-proxy/conf /host/path/to/conf docker rm tmp 由于容器内的网络环境可能与宿主机的网络环境有差异,如果启动时报无法连接到数据库错误等错误,请 确保 conf/config-*.yaml 配置文件中指定的数据库的 IP 可以被 Docker 容器内部访问到。 具体配置请参考 核数 200m compute.replicas ShardingSphere‐Proxy 节点个数 3 c ompute.service.type ShardingSphere‐Proxy 网络模式 ClusterIP c ompute.service.port ShardingSphere‐Proxy 暴露端口 3307 compute.mys qlConnector. version0 码力 | 449 页 | 5.85 MB | 1 年前3Apache ShardingSphere 中文文档 5.1.1
完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持数据分片后的跨库事务; • image.tag 镜像 tag 5.1.0 replicas ShardingSphere‐Proxy 集群模式副本数 3 “ service.type“ ShardingSphere‐Proxy 网络模式 NodePort mysqlconne ctor.enabled MySQL 驱动开启开关 true mysqlconne ctor.version MySQL 驱动版本 5.1.49 由结果后,如果是路由至唯一的数据节点, 则无需涉及到结果归并。因此补列和分页信息等改写都没有必要进行。尤其是分页信息的改写,无需将 数据从第 1 条开始取,大量的降低了对数据库的压力,并且节省了网络带宽的无谓消耗。 流式归并优化 它仅为包含 GROUP BY 的 SQL 增加 ORDER BY 以及和分组项相同的排序项和排序顺序,用于将内存归 并转化为流式归并。在结果归并的部分中,将对流式归并和内存归并进行详细说明。0 码力 | 409 页 | 4.47 MB | 1 年前3Apache ShardingSphere 中文文档 5.1.2
完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持 Savepoint 嵌套事务; 核数 200m compute.replicas ShardingSphere‐Proxy 节点个数 3 “ compute.service.type“ ShardingSphere‐Proxy 网络模式 ClusterIP “ compute.service.port“ ShardingSphere‐Proxy 暴露端口 3307 compute.my sqlConnector. version 由结果后,如果是路由至唯一的数据节点, 则无需涉及到结果归并。因此补列和分页信息等改写都没有必要进行。尤其是分页信息的改写,无需将 数据从第 1 条开始取,大量的降低了对数据库的压力,并且节省了网络带宽的无谓消耗。 流式归并优化 它仅为包含 GROUP BY 的 SQL 增加 ORDER BY 以及和分组项相同的排序项和排序顺序,用于将内存归 并转化为流式归并。在结果归并的部分中,将对流式归并和内存归并进行详细说明。0 码力 | 446 页 | 4.67 MB | 1 年前32 Sharding-JDBC入门使用
metadata.enabled: #是否在启动时检查分表元数据一致性,默认值: false proxy.frontend.flush.threshold: # proxy的服务时候,对于单个大查询,每多少个网络 包返回一次 proxy.transaction.type: # 默认LOCAL,proxy的事务模型 允许LOCAL,XA,BASE三个值 LOCAL无分布式事务,XA则是采用atomikos实现的分布式事务0 码力 | 12 页 | 325.38 KB | 1 年前3Apache ShardingSphere 中文文档 5.1.0
完全支持非跨库事务,例如:仅分表,或分库但是路由的结果在单库中; • 完全支持因逻辑异常导致的跨库事务。例如:同一事务中,跨两个库更新。更新完毕后,抛出空指 针,则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如:同一事务中,跨两个库更新,更新完毕后、未提 交之前,第一个库宕机,则只有第二个库数据提交,且无法回滚。 XA 事务 支持项 • 支持数据分片后的跨库事务; • 由结果后,如果是路由至唯一的数据节点, 则无需涉及到结果归并。因此补列和分页信息等改写都没有必要进行。尤其是分页信息的改写,无需将 数据从第 1 条开始取,大量的降低了对数据库的压力,并且节省了网络带宽的无谓消耗。 流式归并优化 它仅为包含 GROUP BY 的 SQL 增加 ORDER BY 以及和分组项相同的排序项和排序顺序,用于将内存归 并转化为流式归并。在结果归并的部分中,将对流式归并和内存归并进行详细说明。 size.per.query: # 每个查询可以打开的最大连接数量, 默认为 1 proxy.frontend.flush.threshold: # proxy 的服务时候, 对于单个大查询, 每多少个网络包返回一 次 check.table.metadata.enabled: # 是否在启动时检查分表元数据一致性,默认值: false proxy.transaction.type: # 默认 LOCAL0 码力 | 406 页 | 4.40 MB | 1 年前3
共 12 条
- 1
- 2