微服务体系下的混合云&同城双活 实践探索 康彬（robinkang） 乐信/架构总监 康彬（robinkang） 乐信/架构总监 14年研发及管理经验，从0到1组建了乐信架构团队， 主导并推动了乐信集团业务系统从单体应用架构向微服 务架构的演变、从 php 技术栈向 java 技术栈的无缝转 型，从私有云向混合云的进化，及新一代的同城双活技 术架构的研发与落地工作 信用成长成就品质生活 信用成长成就品质生活 • 大促的痛及混合云实践 • 单元化&双活的应用场景 • 同城双活的探索之路 • 未来的规划 大促的痛及混合云实践 业务服务层 资源层 分期乐 前端业务服务 桔子理财 鼎盛资管 …… mq管理系统 job管理系统 中台服务层 核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 房 read_service web registry data_proxy LB DNS app/browser nginx-Proxy nginx-Proxy data(r) 同城双活的探索 未来的担忧 单机房 如果发生机房级的灾难怎么办？ 单集群 随着流量越来越大，集群规模 越来越大，怎么破？ 单元化&多活的范围 boss 客服系统 销售系统 风控审核 催收系统

陆金所 民ankK 。 @kgs5 MBepk ED egag [sa 提一吕营 《刘引 殉支可 站 FE 儿召党 Ga 铅购 Haier 人@@Ozkista Oo 人。 妊名”encem晓 58同城 ms之 总哇 Onono 国as9 回克 团小k 圈#z* @父和及 uctoup 示月有旅游”eesc5h 。 资车之家 。 2 58到未”加 SByx和小红书 。 国委视 blued 图am 开发框架，光大银行定制了分布式批处理方案，设计目标是余额宝每小时理财交易 2000 万笔，零钱通单日 5000 万笔，同时还要满足未来 3-5 年业务发展和接入更多互联网代销渠道需求。 光大银行在同城两数据中心构建 TiDB 双活集群，采用 5副本 TiKV，设计 40TB 运辑容量，同时将 TiDB 的数据实时复制到 MySQL，提升业务容灾能力。 PingCAP.COM 汽车之家基于TiDB 构建两地三中心方案, 通过 Raft 算法保证数据库集群数据的一致性和高可用性， 城数据中心网络延迟相对较小, 业务流量同时派发到同城两个数据中心, 通过控制 Region Leader 和 PD Leader 分布实现同城数据中心共同负载业务流量。 TipB/Tispark 本 二 ao E 本 | oo 局 putkvchangelogs

务系统建设，重点负责系统质量 保证、运营体系建设、核心系统架构升级等方向，支持美团配送业务发展 美团配送业务介绍 01 Agenda 02 MVP阶段 03 规模化阶段 04 精细化阶段 同城即时配送快送发展 Uber Eats Instacart Swiggy go-jek Doordash 美团外卖 饿了么 点我达 闪送 UU跑腿 海内外掀起一波创业浪潮 美团配送系统：机器与海量骑手协作，服务于全国商家与用户 预估 单量 预估 POI 定位 骑行 导航 供需 平衡 弹性 研究 配送 范围 站点 规划 订单 指派 路径 规划 语音 助手 配送 硬件 学科方向 技术方向 具体技术 同城建设方案 配送履约方案 骑手运营方案 行业方案 如何更好地发挥大数据与AI的价值 降低试错成本 提升算法特征迭代效率 提升导航数据质量 仿真平台 最大化降低算法的线上试错成本 打造算法沙箱环境

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 486 10 教程 506 10.1 同城多数据中心部署 TiDB· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 506 10.1.2 同城三数据中心方案· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 514 10.3 同城两中心自适应同步模式部署 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 508 10 教程 529 10.1 同城多数据中心部署 TiDB· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 529 10.1.2 同城三数据中心方案· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 537 10.3 同城两中心自适应同步模式部署 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 582 10 教程 606 10.1 同城多数据中心部署 TiDB· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 607 10.1.2 同城三数据中心方案· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 615 10 10.3 同城两中心自适应同步模式部署 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 473 10 教程 491 10.1 同城多数据中心部署 TiDB· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 492 10.1.2 同城三数据中心方案· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 四大核心应用场景 • 对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景 众所周知，金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案 是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务，此解决方案存在以下缺点： 资源利用率低、维护成本高、RTO (Recovery Time Objective) 及 RPO (Recovery

基础资源管控； • 应用发布运维体系； • 业务实时监控，日志收集； • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 IaaS层（Aliyun/OpenStack/VMWare/Bare Metal） PaaS 核心层 核 心 流

⽀流科技 • 开源爱好者 • Apache APISIX、Apache SkyWalking、NGINX、 Kubernetes 等贡献者构成 • 中美远程协作，没有 996 • 分布中国 9 个不同城市 • ⼀家绝对技术说了算的公司 云 原 ⽣ 社 区 M e e t u p 第 四 期 · ⼴ 州 站 后端架构演变史 云 原 ⽣ 社 区 M e e t u p 第 四 期 · ⼴ 州

度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer由用户进行分布式部署，消息由Producer通过多种负载均衡模式发送到Broker集群，发送 延时，支持快速失败。