Ø定义可扩展的插件机制 Ø对于满足请求Stream池化的需求 Ø需处理上层传入的状态事件PROXY 7 Ø基于Stream抽象提供多协议转发能力 Ø执行Stream扩展Filters Ø提供可扩展的路由寻址能力 Ø提供可扩展的后端管理，负载均衡，健康检查能力 Ø维护上/下游核心指标转发流程 8 IO Read Codec Stream Route / LB Codec Stream IO write ü大量读/写会增加系统时间消耗， runtime 调度成本IO Bad Case 5调度均衡 6 Ø池化：避免 runtime.morestack 连续栈扩容性能损耗 Ø单核：避免G饥饿 Ø多核：避免P饥饿单核TCP转发 7 Ø环境 ü独占CPU容器 üCPU： Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz X 1 üOS： 3.10.0-327.ali2008.alios7 715ms 5.068ms RT(P99) 16ms 7ms RT(P98) 13ms 7ms RT(P95) 11ms 6ms MEM 56m 24m CPU 100% 95%单核SOFARPC转发 10 Ø环境 ü独占CPU容器 üCPU: Intel(R) Xeon(R) CPU E5620 @ 2.40GHz X 16 X 1 üOS: 2.6.32-431.17.1.el6.FASTSOCKET

• 得到Cluster IP (10.254.162.44) 5. kube-proxy拦截到10.254.162.44的请求 • 修改目标地址为Pod IP=192.168.1.* 6. 请求转发给pod kubernetes Pod IP=192.168.1.101 Pod IP=192.168.1.102 Pod IP=192.168.1.103 client Node podIstio 得到Cluster IP (10.254.162.44) 5. iptables拦截到10.254.162.44的请求 • 转发到localhost，打到Sidecar • 在TCP options将ClusterIP保存为original dest 7. 请求转发给对端sidecar kubernetes Pod IP=192.168.1.101 Pod IP=192.168.1.102 6. Sidecar收到请求 • 从TCP options中的 original dest 获取ClusterIP • 根据ClusterIP从 VirtualHost 中匹配Rule规则，得到转发目标地址SOFAMesh 的DNS寻址 interface1 pod DNS interface2 interface3 1. 服务部署 • ServiceType=ClusterIP

的Adapter Report的AdapterMixer反省之一：对性能的影响 ü 按照Istio的设计，每次请求Envoy都 要执行对Mixer的两次远程调用： • 转发前执行Check(包含Quota) • 转发后执行Report ü 我们的观点： • 需要请求同步阻塞等待的功能都应该在 Sidecar中完成 • 远程调用带来的性能开销代价太高 • 其他尽量优化为异步或者批量Istio的解决方案：添加Mixer Sidecar Local Sidecar Service-A 调用服务Service-b 8.8.8.1 8.8.8.2 8.8.8.3 服务注册中心 同步注册信息 Cluster-1 3.转发请求到edge sidecar， 标注Destination为Service-B 1. 通过注册信息交换同步到其他服务 注册中心，包括服务和Edge sidecar 2. 通过注册中心可以得知 edge-sidecar : 8.8.8.2@cluster2 edge-sidecar : 8.8.8.3@cluster2 Service-B@zone2 4. Edge sidecar执行服务发现并 转发请求给Service-B的实例7月底北京，第二次Service Mesher线下Meetup 下回分解：增强版Pilot和Edge Sidecar开源策略 Open Source 3蚂蚁金服，开源开放

app2 app1 app2 IDC1 IDC2 1 首次请求app1 2 随机分流 3 uid转发目标zone 4 响应请求 5 写入cookie 6 再次请求app1 7 跨机房转发 50% 50% • 机房内zone随机路由 • Cookie zone转发 • 蓝绿发布 • 容灾 ØZone内容灾 Ø机房级别 Ø城市级别 • 弹性调度 • 压测 • 灰度蚂蚁金服SSL/TLS实践

关键收益均由数据平面产生 非完善的控制平面功能 技术体系内不引入Go语言 最成熟的服务端语言为Java 使用Java开发 数据平面Agent14/24 整体架构 数据平面 • 现有协议的流量转发 • Agent平滑升级机制 控制平面 • 轻量的Pilot Proxy • 向Istio的标准协议靠拢 重点目标 长期规划15/24 数据平面实践细节 • 部署方式 • 升级方式 • 减少decode请求体开销 • ProtoBuf替换JSON • 复用连接并适当设置连接数 Agent内部 • 对象池化：减少资源消耗与GC压力 • 响应等待机制：非阻塞等待 两次请求转发小于0.2ms Agent外部 • 提升服务器性能（缩减耗时绝对值） API层接口耗时增长小于6%21/24 数据平面资源占用 与业务容器共享CPU、内存资源配额 为Agent JVM分配256M内存资源

Rust实现 • CNCF项目，最早的 Service Mesh数据平面 • 开发活跃，最新版为 18.9.1 • Golang实现 • 新生项目，初期旨在搭建 RPC亲和，高度可扩展性 的Golang转发系统 • 开发活跃，最新版为0.4.0 • 蚂蚁+UC主导，重点搭载 SOFAMesh使用，目标服 务通用场景，金融场景SOFAMOSNSOFAMOSN内部模块设计SOFAMOSN数据流SOFAMOSN数据流持续演进路径 Offload User Protocol Stack K8S Ingress Microservice Frontend & Gateway MOSNG Serverless 高性能统一转发平面 下一代微服务体系 下一代网络接入系统 运维/流量调拨/监控/… 零信任 安全体 系 基于可靠沙箱的云原生运行时 异构硬件蚂蚁金服内部大规模落地 Ø覆盖核心链路应用 Ø 支撑第五代运维架构，

Zoo keeper云原生实时计算与人工智能@微博 2.4倍性能提升 百亿实时样本 万亿维度模型云原生基础设施 新生态 新算力 新基石 全球化部署 单集群万节点规模 云边端一体化 延时降低75% 混合云2.0架构 交付效率提升3倍 全链路安全架构 实时风险监测、告警、阻断 极速弹性 分钟级1000节点伸缩 异构算力 利用率提升5倍 沙箱容器 强隔离，90%原生性能

资源域A 资源域B 资源域A 资源域B 保活态 运行态 资源域A 资源域B 运行态 保活态 常规方案操作步骤 分时调度操作步骤23 分时调度-MOSN价值 MOSN 作用：保活态节点流量转发，降低保活态节点内存占用 保活意义： * 应用长连接维持 * DB 连接维持 * 缓存维持 * 无需预热可快速恢复 MOSN APP MOSN APP Client Pod

用来自动发现平台上的服务 • Entrypoints 监听传入的流量（端口等… ） • Routers 分析请求（host, path, headers, SSL, …） • Services 将请求转发给你的应用（load balancing, …） • Middlewares 中间件，用来修改请求或 者根据请求来做出一些判断（ authentication, rate limiting, headers

上图中的Kubernets集群使用了Knitter网络插件，部署了四个网络平面产品化增强-支持多网络平面 Istio1.0中不支持多网络平面，当服务地址和Envoy地址分别位于两个网络上时，会导致转发请求时 发生死循环，导致socket耗尽，Envoy不停重启。 Pilot Service Registry Register service (IP :10.75.8.101) 10.75