• 支持蚂蚁LDC架构，三地五中心容灾架构 • 全面上线SSL加速卡，提供软硬件一体加速方案 2015 • All in 无线，通信通道全面升级（MMTP，MTLS协议） 2016 • 安全防护能力提升，WAF，流量镜像 2018至 今 • 通信协议，架构，安全再次升级（物联终端接入，QUIC协议，国密，可信计算， 海外加速，云原生）金融级三地五中心容灾架构（LDC） 单机房 LDC DB1 DB2 Region 2 DB3 Region 1 Region 1 DB1 DB2 Region 2 Elastic Region DB3 Elastic DB金融级三地五中心架构的流量调度 spanner LDC01 LDC02 app1 app2 app1 app2 spanner LDC03 LDC04 app1 app2 app1 app2 3 uid转发目标zone 4 响应请求 5 写入cookie 6 再次请求app1 7 跨机房转发 50% 50% • 机房内zone随机路由 • Cookie zone转发 • 蓝绿发布 • 容灾 ØZone内容灾 Ø机房级别 Ø城市级别 • 弹性调度 • 压测 • 灰度蚂蚁金服SSL/TLS实践 合规 性能 安全软硬件一体解决方案 Intel QAT Cavium

MOA 1.0微服务体系整体架构 注册中心 • Redis作为底层存储 • 跨语言地址发现服务Lookup • 中心化存活检测 多语言支持 • Java、PHP、Python、Go、NodeJs • Redis传输协议 / 复用Redis客户端 • 服务发布Proxy / 并行调用Proxy 服务治理 • 服务治理平台、配置中心 • 监控、日志、分布式跟踪 • 异步调用、压测7/24 异步调用、压测7/24 流量代理机制 PHP服务发布入流量代理 PHP并行调用出流量代理 16年起开始使用流量代理机制解决跨语言服务治理问题8/24 分享主题：字号 分享嘉宾 发布服务数 2000+ 注册实例数 2万+ 全天调用量 3500亿 微服务体系规模 服务量级的增长使得Java应用的服务治理问题 也逐渐暴露出来9/24 问题 /02 借助Service Mesh解决现有架构痛点10/24 sidecar模式 • 与业务进程相同Pod不同Container 陌陌微服务容器化部署比例在80%以上 并且还在进一步推进 业务接入方式 • 研发人员：升级SDK版本 • SRE：发布系统配置发布项 sidecar模式部署17/24 数据平面升级方式 – 平滑升级机制 平滑要求 • 业务进程不重启 • 流量保持不变 方案选择 • FD迁移 vs 哨兵集群 原理 • sendmsg

在『路口』的产品思考与实践 宋顺（齐天） 蚂蚁金服高级技术专家2/39 蚂蚁金服高级技术专家 2019年初加入蚂蚁金服，主要负责微服务、Service Mesh 相关 产品的研发工作 开源配置中心 Apollo 主要作者 https://github.com/ctripcorp/apollo 毕业于复旦大学软件工程系 曾就职于携程、大众点评，负责中间件、后台系统等研发工作3/39 Service 业务逻辑 SDK 协议编解码 服务发现 负载均衡 熔断限流 服务路由 …… 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 升级成本高 版本碎片化严重 中间件演进困难6/39 微服务治理与业务逻辑解耦 Part 1： 为什么需要Service Mesh? Service 业务逻辑 SDK 无需感知Mesh - 专注服务间通讯和相 关能力 - 与业务逻辑无关 将SDK客户端 的功能剥离 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 业务进程专注于业务逻辑 SDK 中的大部分功能， 拆解为独立进程， 以 Sidecar 的模式运行 将服务治理能力下沉到基础设施，实现独立演进，透明升级7/39 异构系统统一治理

C++编写，和蚂蚁的技术栈差异大 • 蚂蚁有大量的扩展和定制化需求 • 我们非常认可envoy在数据平面上的表现开源方案选择之第二代Service Mesh Istio • 第一选择，重点关注对象 • 奈何迟迟不能发布生产可用版本 • 性能和稳定性远远不能满足蚂蚁的 要求 • 但我们非常认可Istio的理念和方向 Conduit • 只支持k8s，而蚂蚁尚未普及k8s • 数据平面由Rust编写，过于小众，难于 打通多个服务注册中心 • 支持多个注册中心同步信息 • 实现跨注册中心的服务调用 ü 支持异构 • 实现方式不同的注册中心 • 向Service Mesh的过渡 • 两个非Service Mesh的打通 ü 终极形态 • 跨集群 + 异构同时支持 • 配合其他模块实现更灵活的服务间通讯 增强版Pilot：梦幻级服务注册和治理中心 服务 治理 中心 服务注册中心 A P I 接 Consul实现 Spring Cloud Adapter Dubbo Adapter Istio Adapter Conduit Adapter 逻 辑 实 现 应用 曾经构想过的服务注册中心理想架构Pilot架构类似：以Pilot为基础做扩展和增强 Sofa Registry Open Service Registry API Data Sync Dubbo Eureka

金融级云原生 PaaS 探索与实践 王成昌（晙曦）蚂蚁金服技术专家2/20 一、业务背景 二、多集群管控 三、发布运维体系 目 录 contents 目录3/20 一、业务背景 业务背景4/20 业务背景 业务架构 演进 • 容量  应用|数据库|机房 • 容灾  机房|地域5/20 业务背景 业务架构 单元化 • 高可用 • 一致性 • 可扩展 • 面向站点级别输出7/20 PaaS 能力 • 面向多租户多环境； • 基础资源管控； • 应用发布运维体系； • 业务实时监控，日志收集； • 机房级和地域级容灾能力; 业务背景业务背景 CAFÉ API Server Aggregation Layer 异地多活架构 同城双活架构 K8S API Server 基础发布运维 跨集群应用 资源管理 IaaS层（Aliyun/OpenStack/VMWare/Bare 核 心 流 程 两地三中心架构 跨机房和地域统一应用运维 容器运行时 （Docker/Pouch/安全容器） CNI Plugins (VLAN/VXLAN/VPC Router/ENI) CSI Plugins (NAS/OSS/Cloud Disk/Ceph) 网络接入 (SLB/ALB) 容 器 层 跨集群管理 单元化能力 容器镜像管理 批次发布 原生资源管理 Pod伸缩管理

应用直接产生影响，耦合太 重 难度小。Sidecar故障可以将流量临时切到 remote proxy解决 难度小。集群通过LVS接入，单 台机故障可以下线 升级难度 难度极大。需要客户端修改 代码、发布、上线。 难度小。切换流量到remote proxy可以实 现用户无感知的无损升级。 难度小。通过LVS摘流量滚动升 级 动态扩容难度 应用内置，无须扩容 物理机sidecar单客户端，无须扩容 难度大。Sidecar故障会影响同一个pod的业务容器，同 生共死 难度小。Sidecar故障可以将流量临时切到 remote proxy解决 升级难度 难度大。升级Sidecar需要业务容器一起发布，协调成本 高，而且全量升级sidecar对整个系统的动荡太大 难度小。切换流量到remote proxy可以实现用 户无感知无损升级。可以轻易的实现全网一月 一升级，快速的迭代、落地、反馈 动态扩容难度 开源智能参数治理 • 现状 • 依赖用户手工配置参数（超时时间、限流） • 服务实例的差异导致配置相当复杂，容易 配置不合理 • 无法动态根据系统指标调整阈值 • 目标 • 用户无需拍脑袋设值，服务治理中心根据 历史指标进行推荐，对不合理的设置进行 建议，如 • 根据应用的历史延迟时间推荐超时设置 • 根据应用的历史流量数据推荐限流设置 • 根据动态指标自动调整配置 • 如单个实例内指标异常（超时率、cpu异常等）

当作一个更好用的虚拟化方案 KUBERNETES NATIVE 化微服务 PLATFORM ADAPTER 自己做控制平面KUBERNETES NATIVE 微服务 • 使用 Kubernetes 作为注册中心 • Service • Endpoint • Pod • 使用 DNS 寻址 • 使用 iptables/ebpf 透明地路由所有网络流量 • 服务治理规则，服务，实例和配置都是 Kubernetes 服务，每个服务有自己的版本 • …ISTIO 控制平面路由的抽象模型 INBOUND OUTBOUNDSOFA 服务注册模型落地一个微服务框架需要的工作 • 部署 ZK 集群作为 RPC 框架的注册中心 • 开发 ZK Platform Adapter for DUBBO • 开发 DUBBO 服务的 XDS 配置下发 • 开发 DUBBO 服务的路由规则 XDS 适配 • 开发 DUBBO 协议支持SOFA 避免为不同的微服务框架修改 PILOT 代码 • 通过插件的方式按需支持新的协议 • 对应用代码无侵入性 • 为微服务框架提供轻量化客户端落地一个微服务框架需要的工作 • 部署 ZK 集群作为 RPC 框架的注册中心 • 开发 ZK Platform Adapter for DUBBO • 开发 DUBBO 服务的 XDS 配置下发 • 开发 DUBBO 服务的路由规则 XDS 适配 • 开发 DUBBO 协议支持（开箱即用模式下也可以省掉）DNS

TLS，国密 服务鉴权 Mirror 访问请求 MOSN 多种服务注册中心 SOFA Registry Nacos Etcd ZooKeeper 多协议接入 TLS，国密 WAF，DDos2/10 MOSN 核心能力沉淀  精细化路由  安全防护  多协议  可运维  可扩展 • 多版本发布 • 压测引流 • 服务分组 • 加密链路 • 国密算法 • 服务鉴权

为什么要 Service Mesh-结论9 为什么要 ServiceMesh-结论-方案 应用A 应用 应用B 应用C 应用D 应用E SOA 解耦了不同的业务团队之前的耦合 服务注册中心客户端 限流熔断客户端 动态配置客户端 故障注入客户端 Service Mesh 解耦了业务开发与基础团队之前的耦合 应用代码 业务应用开发 基础设施开发 Mesh 化10 三、方案落地 方案落地-框架升级后 应用代码 SOFABoot_Old SOFABoot/SOFARPC API SOFABoot_New JVM RPC 检测 pod 变量，注 入启动参数 判断开启了 MOSN 发布和订阅服务 直接调用，关闭寻 址功能 其他16 方案落地-容器替换 Pod Pod Old Pod New With MOSN Pod New With MOSN 扩容 缩容 资源

粒度的开关控制  对于Client 端理想情况下，希望是通过Istio 的 DestinationRule 和 VirtualService 来控制。但由于相 关条件尚未具备，因此通过现有注册中心来控制 Client TLS 能力Service Mesh Sidecar 的TLS 生产级落地实践Service Mesh Sidecar 的TLS 生产级落地实践 灰度控制 新功能总是离不开灰度过程，社区已有的Policy selector 能力选择指定范围内（批量 or 单实例）的Pod 实例，同时关 联社区现有CRD，从而实现保留在兼容社区CRD设计方面的灵活性，又能实现任意CRD的更细粒度控 制能力 以TLS 开关为例，在发布TLS开关时，先提交 ScopeConfig 通过 Pod IP 这个label 实现单实例开关控制， 在观察正常后，逐步调整ScopeConfig 的Selector 范围，实现功能的灰度上线能力Service