Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 • 抑或是采取了同一份写入到两个站 点的数据库 • 抑或是跨站点写入数据库同时同步 回来(例如 AWS 的AURORA) 这两种方式都没有从根本上解决问题, DRC 概念的出现, 让大家对分布式存储 又有了新的期待 Data Replication Center 目前携程的应用也在进行单元化的部署模

携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 仓位信息供应商 国内 海外 单向同步 • 单向同步可以解决 海外重复收费的问 题 • 无法解决上海重复 收费的问题 业务痛点 仓位信息供应商 国内 海外 双向同步 • 我们希望可以通过 Redis的双向同步 解决重复收费的问 题 双向同步 Redis双向同步 双向同步 Redis Master Redis Master Redis双向同步 1. slaveof • slaveof命令 • redis变成slave， 同步数据 • Slave无法写入 Redis双向同步 1. peerof 2. Sync data • 新的命令“peerof” • 同步数据 • 继续保持Master的 角色 如何解决 • 新的协议支持 双向同步 • 兼容Slaveof命 令 slaveof slaveof

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 153 5.6 将 TiDB 集群的增量数据实时同步到另一集群 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 153 5.6.1 实现原理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 153 5.6.2 同步操作步骤· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 537 10.3 同城两中心自适应同步模式部署 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 541

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 192 5.3.8 将 TiDB 集群的增量数据实时同步到另一集群 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 194 5.4 复杂迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 195 5.4.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 195 5.4.2 下游存在更多列的迁移场景· · · · · · 444 8.15.7 TiFlash 数据不同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 445 8.15.8 TiFlash 数据同步卡住 · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 145 5.6 将 TiDB 集群的增量数据实时同步到另一集群 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 145 5.6.1 实现原理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 145 5.6.2 同步操作步骤· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 514 10.3 同城两中心自适应同步模式部署 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 518

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 561 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 619 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 619 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2237 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 556 6.4.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 556 6.4.2 下游存在更多列的迁移场景· · · · · 817 10.16.6 TiFlash 数据不同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 818 10.16.7 TiFlash 数据同步卡住 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 819 10.16.8 数据同步慢 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 521 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 576 6.4.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 576 6.4.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2122 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 840 11.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1927 13.7.2 在线数据同步· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者 缩容过程中对应用运维人员透明。 • 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能提交，确 保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 548 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2340 13.10.12集群间双向同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·