云原生开放智能网络代理 MOSN 金融级云原生架构助推器 肖涵（涵畅） 蚂蚁金服高级技术专家 SOFAMosn 项目负责人1/10 MOSN，云原生时代的安全网络代理 Service Mesh 控制面 Galley Pilot Pod SOFA 服务 MSON Kubernetes TLS，国密 服务鉴权 Mirror Ingress Controller Pod Msg 可运维  可扩展 • 多版本发布 • 压测引流 • 服务分组 • 加密链路 • 国密算法 • 服务鉴权 • TCP、Http、SOFA • 透明劫持 • 平滑升级 • 可观测性 • 网络包过滤器 • 协议包过滤器 • 协议扩展 • 可观测性扩展 • 路由扩展 • 集群管理扩展 模块化 安全 智能 高性能3/10 MOSN 助力业界最大规模之一的 Service Mesh

蚂蚁金服网络代理演进之路 肖涵（涵畅） 蚂蚁金服高级技术专家 2019.10.26 Service Mesh Meetup #7 成都站网络代理是什么？ 南北流量 东西流量 Server App 负载均衡器 NAT网关 防火墙 负载均衡器 NAT网关 防火墙 负载均衡器 负载均衡器 路由器 路由器 Internet网络代理有什么？ Maglev Ipvs Katran GFE BFE TGW Nginx Apache httpd SOFAMosn Envoy Linkerd网络的挑战网络的挑战 高效接入 访问加速 容量 稳定性 高可用 灵活弹性 安全合规 防攻击蚂蚁金服网络接入十年变迁 2010年前部署商用设备 前世 01 2010 开始网络代理白盒 化，定制业务逻辑，软 硬件一体解决方案 自研 02 2015 年无线通道协议，安 全升级， 再启程 03前世 F5 BigIP Netscaler自研四层网络代理 2011 2014 2018 未来 Ø 全面使用DPDK技术重构 Ø EBPF，XDP Ø 可编程交换芯片（P4语言） Ø 四层负载均衡-IPVS Ø NAT网关蚂蚁七层网络代理 Google Spanner?蚂蚁七层网络接入代理 Spanner蚂蚁七层网络接入代理 AGNA （Ant Global Network

sriov 容器网络 • Envoy：将1.13版本中 connection loadbalancer 特性移植到 1.10.x 版本 • Envoy 优化后在低并发（<64）的情况下，容器网络 client sidecar 优于 VM 网络直连 • Envoy 优化后在高并发（>=64）的情况下 • 容器网络 client sidecar 接近 VM 网络直连 • 容器网络 client com/envoyproxy/envoy/issues/9083 • Mixer 性能陷阱 • 如打开 Mixer 的策略执行功能，每一次调用 Envoy 都会同步调用 Mixer 进行一次策略检查， 导致性能下降的非常迅速 • 社区也已经意识到并着手进行优化 • 作为 Mixer 策略执行的替代品， Istio 的 RBAC 也是可以满足一部分功能的，比如服务白名 单我们就是通过 RBAC 来实现21/24 模式采用方案2进行优化。23/24 服务治理平台 – 升级严选服务治理能力 • 常用服务管理功能：服务上下线、服务实例管理 • 服务生命周期管控与查询 • 服务扩缩容：服务副本数、配额、扩缩容策略； 调整后自动应用至 K8s 集群 02.服务管控 • 服务监控项设置并对接基础监控平台 • 服务质量指标（SLI）定制并监控：如 Latency、QPS 等 04.服务监控 • 借助APM的能力

敖小剑6月初在深圳举行的GIAC全球互联网架构大会上，蚂蚁金服第一次对外 透露了开发中的Service Mesh产品——Sofa Mesh。 今天我们将展开更多细节，详细介绍蚂蚁金服Sofa Mesh的技术选型， 架构设计以及开源策略。 前言技术选型 Technical 1ü 性能要求 • 以蚂蚁金服的体量，性能不够好则难于接受 • 架构与性能之间的权衡和取舍需要谨慎考虑 ü 稳定性要求 • 以蚂蚁金服的标准，稳定性的要求自然是很高 Cache工作原理与源码分析(2)－工作原理 • Istio Mixer Cache工作原理与源码分析(3)－主流程 • Istio Mixer Cache工作原理与源码分析(4)－签名 更多资料，深入了解Report部分的隐忧：网络集中 应用 Sidecar Mixer 应用 Sidecar 应用 Sidecar 应用 Sidecar 应用 Sidecar 应用 Sidecar 应用 Sidecar 应用 Sidecar Backend Backend Backend Backend Backend Backend Backend Backend Backend 通道收缩 流量聚集Report部分的隐忧：网络吞吐量 应用 Sidecar Mixer Backend 交换机 交换机 应用 Sidecar Backend 交换机 应用 Backend 交换机 应用直连基础设施后端： Sidecar连接基础设施后端：

Service Mesh 等微服务治理框架有丰富实践经验2/总页数 /01 /02 /03 Service Mesh 与 Spring Cloud 应 用的互通、共治 注册中心与 高可用方案 通过治理策略 保证服务高可用3/总页数 Service Mesh 与 Spring Cloud 应用的互通、共治 /014/总页数 优点 • 微服务架构的集大成者 • 轻量级组件 • 开发灵活、简便 • Multi-Datacenter 注册中心 - Consul11/总页数 注册中心 - Consul • Consul 架构12/总页数 注册中心 - Consul • 注册中心容灾 服务端容灾 • 部分节点宕机 • 网络分区 客户端容灾 • 注册中心完全不可用13/总页数 注册中心 - Consul Servers Quorum Size Failure Tolerance 1 1 0 2 2 0 3 • 多租户？16/总页数 通过治理策略保证服务高可用 /0317/总页数 治理策略 & 高可用 描述 N个9 可用性级别 年度停机时间 基本可用 2个9 99% 87.6小时 较高可用 3个9 99.9% 8.8小时 具备故障自动恢复 能力可用 4个9 99.99% 53分钟 极高可用 5个9 99.999% 5分钟18/总页数 治理策略 & 高可用 不可用因素 程序和配置出

现为一组轻量级网络代理，它们与应用程 序一起部署，但对应用程序透明。什么是Service Mesh？- by Istio 服务发现 负载均衡 流量控制 ... 黑白名单 限流 ... 身份认证 通信加密 权限控制 ... 调用追踪 指标收集 ...什么是Service Mesh？- 从网络的视角 Service Mesh关注点 网络视角： Service Mesh是一个主要针对七层的网络解决方 Mesh是一个主要针对七层的网络解决方案，解决的是服务间的连通问题Service Mesh是下一代的SDN吗？ 通信网络 l 互不兼容的专有设备 l 基于IP的通信缺乏质量保证 l 低效的业务部署和配置 ... 微服务系统 l 互不兼容的代码库 l 不可靠的远程方法调用 l 低效的服务运维 ... 通信网络和微服务系统面临类似的问题：Service Mesh是下一代的SDN吗？ Network Layer Look at Solution MAC/VLAN SDN Layer 1 Input Port SDN SDN ： 主要关注1到4层 Service Mesh： 主要关注4到7层 类似的问题，不同的网络层次，通信网络的解决方案能为Service Mesh提 供哪些借鉴？通信网络的解决方案：SDN微服务应用层通信的解决方案-Service Mesh HW Adapter Proxy Service Proxy Service

Ø拥抱微服务，云原生 • SOFA 5规划落地 • 兼容K8S的智能调度体系 Ø运维体系的有力支撑 • LDC • 弹性伸缩 • 蓝绿/容灾/.. Ø金融级网络安全 • 金融级鉴权体系 • 云原生zero trust网络安全趋势 Ø异构语言体系融合 • SOFA/NodeJS/C++/Python/.. • 业务低成本融入服务，运维体系为什么要自研Golang版本ServiceMesh 容器管理平台更替快速进行中 ØGolang 性能，成本评估符合蚂蚁实际需求2 构架SOFAMesh 1SOFAMosn 2SOFAMosn内数据流 3NET/IO 4 Ø屏蔽IO处理细节 Ø定义网络链接生命周期，事件机制 Ø定义可编程的网络模型，核心方法，监控指标 Ø定义可扩展的插件机制PROTOCOL 5 Ø定义编解码核心数据结构 üMesh处理三段式：Headers + Data + Trailers Ø定义协议Codec核心接口 ü编码：对请求数据进行编码并根据控制指令发送数据 ü解码：对IO数据进行解码并通过扩展机制通知订阅方 •定义扩展机制通知解码事件STREAMING 6 Ø定义Stream模型 ü 向上确保协议行为一致性 ü 为网络协议请求/响应提供可编程的抽象载体 ü 考虑PING-PONG，PIPELINE，分帧STREAM三种典型流程特征 Ø定义Stream生命周期，核心事件 Ø定义Stream层编/解码核心接口 ü

Mesh）这个术语通常用于描述构成这些应用程序 的微服务网络以及应用之间的交互。随着规模和复杂性的增长，服 务网格越来越难以理解和管理。 • 它的需求包括服务发现、负载均衡、故障恢复、指标收集和监控以 及通常更加复杂的运维需求，例如 A/B 测试、金丝雀发布、限流、 访问控制和端到端认证等。什么是 Istio • Istio 提供一种简单的方式来为已部署的服务建立网络，该网络具有 负载均衡、服务间认证、监控等功能，而不需要对服务的代码做任 sidecar 代理，使用 Istio 控制平面功能配置和管理代理，拦截微服务之间的 所有网络通信。Istio 的特点 • HTTP、gRPC、WebSocket 和 TCP 流量的自动负载均衡。 • 通过丰富的路由规则、重试、故障转移和故障注入，可以对流量行 为进行细粒度控制。 • 可插入的策略层和配置 API，支持访问控制、速率限制和配额。 • 对出入集群入口和出口中所有流量的自动度量指标、日志记录和跟 在 kubernetes 上支持的不好（RPC error）； • .drone.yml not .drone.yaml • Failed to activate your repository（检查网络，以及代理配置） • plugins: • drone-kubernetes, 需要将 kubernetes token base64 解码(否则报错：Unauthorized） • Jenkins

载服务发现、负载均衡、TLS终止、HTTP/2 & gRPC流量代理、熔断、健康检查等功能。 • Mixer 翻译过来是混音器，Mixer负责在整个Service Mesh中实施访问控制和使用策略。Mixer是一个可扩展组 件，内部提供了多个模块化的适配器(adapter)。 • Pilot 翻译过来是领航员，Pliot对Envoy的生命周期进行管理，同时提供了智能路由（如A/B测试、金丝雀部 监控并管理envoy的运行状况，比如envoy出错时pilot-agent负责重启envoy，或者envoy配置变更后 reload envoy。 而envoy负责接受所有发往该pod的网络流量，分发所有从pod中发出的网络流量。 根据代码中的sidecar-injector-configmap.yaml（用来配置如何自动化地inject istio sidecar）， inject过程中，除了pro 每个pod还会带上initcontainer（Kubernetes中的概 念），具体镜像为proxy_init。proxy_init通过注入iptables规则改写流入流出pod的网络流量规则，使得 流入流出pod的网络流量重定向到proxy的监听端口，而应用对此无感。Init Container的工作原理 istio/tools/deb/istio-iptables.sh #将所有流量送入Envoy

基本服务治理功能 App OSP Server Service Registry Service Config Center 服务发现 服务注册 服务元数据下发 OSP client 服务路由 网络传输 服务元数据上报缺点 • 语言单一 • 升级困难 • 复杂代码嵌入对客户端进程影响大服务化体系2.0 - Service Mesh雏形 • 物理机、sidecar • Local & Remote，主与备 Remote Proxy Cluster API Gateway 备用链路 服务发现 服务注册 配置下发 服务路由 网络传输 OSP client多语言客户端接入 • HTTP & TCP • Local & Remote • 根据接入对象的不同，制定 不同的接入策略，达到 • 接入简单 • 保证性能 • 节省资源 Java App Local Proxy OSP Server Registry Service Config Center Remote Proxy Cluster API Gateway 备用链路 服务发现 服务注册 配置下发 服务路由 网络传输 OSP client PhpApp Local Proxy OSP client Pod Local Proxy OSP client Pod OSP client Web Server