MOSN 高性能网络扩展实践 王发康 2021 Gopher Meetup HZ About Me 王发康 蚂蚁集团 可信原生技术部，技术专家 蚂蚁集团技术专家，专注于高性能网络服务器研发，MOSN、Tengine 开源项目核 心成员，目前关注云原生 ServiceMesh、Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang 跨语言语言支持（C/C++/Rust）、 隔离性、安全性、敏捷性 处于试验阶段，性能损耗较大； WASM 目前仅对C/C++/Rust 友好， 对 GoLang Runtime 还未完全支持； 不能复用已有的 SDK，需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server Processing Filter 高 低 中 N MOSN(GoLang) Extension 高 较高 低 活跃 对比：MoE 相比 ext-proc 无需跨进程 gRPC，性能高；相比 WASM 无需 网络 IO 操作转换成本；相比 Lua 生态好、能复用现有的 SDK，对于上层 业务处理更合适 扩展方案评估 Envoy 社区讨论 MoE 背景介绍 — 方案分析 结论 综合稳定性、性能、成本、社区生态等因素评估，MoE

器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 部署当前 应用版本 添加 监控 配置 日志采集 测试确认 服务正常运行 实例 加入集群 恢复正常 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。 微服务应 用 大型

比如机房突然断电 事故突然的到来 为什么混沌测试 通用指标 阶段性进阶衡量 标准 指标 量化 什么是混沌测试 什么是混沌测试 混沌工程旨在将故障扼杀在襁褓之中，也就是在故障造成中断之前将它们识别出来。通过主动制 造故障，测试系统在各种压力下的行为，识别并修复故障问题，避免造成严重后果。 混沌工程将预想的事情和实际发生的事情进行对比，通过“有意识搞破坏”来提升系统稳定性。 鲁棒性

1 云原生安全威胁分析与 能力建设白皮书 中国联通研究院 中国联通网络安全研究院 下一代互联网宽带业务应用国家工程研究中心 2023 年 11 月 版权声明 本报告版权属于中国联合网络通信有限公司研究院，并受法 律保护。转载、摘编或利用其他方式使用本报告文字或者观点的， 应注明“来源：中国联通研究院”。违反上述声明者，本院将追 究其相关法律责任。 云原生安全威胁分析与能力建设白皮书 .................................................................25 云原生安全威胁分析与能力建设白皮书 2 2.3.4 容器网络攻击........................................................................................26 2.4 路径 2 云原生运行时安全................................................................................56 4.2.3 网络微隔离........................................................................................... 58 4

© 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 云原生应用可观测性实践 向阳 @ 云杉网络 2021-12-08 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 解决团队耦合的问题 —— 革命的思路 从SDN到第5层网络 行云流水@车联网云平台技术 2021-09-20 观测 simplify the growing complexity © 2021, YUNSHAN Networks Technology rights reserved. 云原生时代的机遇和挑战 交换机 防火墙 负载均衡 服务器 单体应用 SLB / NAT SLB 云 原 生 传统网络 连接服务器 (#IP) 服务器上架 (数天) 交换-路由 (物理) 云原生网络 连接微服务 (#API/函数) 微服务CI/CD (数分钟) Mesh-NAT-SLB-... (Overlay) 传统应用 云原生应用 è规模100xè è速度1000xè

可信原生技术部，技术专家 蚂蚁集团技术专家，专注于高性能网络服务器研发，MOSN、 Tengine 开源项目核心成员，目前专注于云原生 ServiceMesh、 Nginx、Envoy、Istio 等相关领域。 喜欢开源，乐于分享。 https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 2019年双11 2019年12月 2020年6月 2020年7月 2020年12月 2021年 MOSN 简介 — 开源社区 Committer 非蚂蚁 蚂蚁 定位：云原生网络代理平台 开源理念  社区是开源软件发展的动力  借力开源，反哺开源  持续向云原生演进 Star: 3100 Committer: 10 Contributor: 78 Corporate Release: 27 MOSN 简介 — 生态建设 MOSN 简介 — 2021 roadmap 云原生 • 云原生网络平台建设 • 升级 Xprotocol 框架 • 支持 WASM • 区块链网络框架 • 代码热更新 • 高性能网络层扩展 • fastGRPC • 协程收敛 epoll 模型 • CGO 性能优化 • 支持 zipkin，Jaeger 等 •

Networks Technology Co., Ltd. All rights reserved. 构建统一的云原生应用 可观测性数据平台 DeepFlow在混合云中的实践总结 向阳@云杉网络 2022-04-09 1. 可观测性数据平台的挑战 2. 解决数据孤岛：AutoTagging 3. 降低资源开销：MultistageCodec 4. 统一数据平台的落地思路及案例 构建统一的云原生应用可观测性数据平台 scope」的Metrics 例如：响应Request A的实例在一段时间内做了多少次GC？ ① 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ② 应用、系统、网络的Metrics之间 例如：某个Service的Pod的QPS、IOPS、BPS分别是多少？ 例如：Pod所在的KVM宿主机的CPU、内存指标？ ② 看云网更清晰 Simplify the growing Metrics与「非Aggregatable」的Log 例如：QPS降低与进程、服务器的日志有关联吗？ ③ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ④应用、系统、网络的Log之间 例如：应用日志ERROR与Ingress日志有什么关联吗？ ④ 看云网更清晰 Simplify the growing complexity. 数据打通并不简单 ⑤「非Request

度的设计 •新一代监控系统更加关注应用侧的监控，没有维度标签玩不转，每个指标动辄几个、十几个标签 指标维度更为丰富 •Kubernetes体系庞大，组件众多，涉及underlay、overlay两层网络，容器内容器外两个namespace，搞懂需要花些时间 •Kubernetes的监控，缺少体系化的文档指导，关键指标是哪些？最佳实践是什么？不是随便搜索几个yaml文件能搞定的 平台侧自身复杂度变高， Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 关注网络IO的情况，因为多个容器共享Pod的net namespace，Pod内多个容器的网络数据相同 • 容器的监控数据可以直接通过 docker 引擎的接口读取到，也可以直接读取 cAdvisor 的接口，Kubelet 里 内置了cAdvisor，cAdvisor increase(container_cpu_cfs_throttled_periods_tota l[1m]) / increase(container_cpu_cfs_periods_total[1m]) * 100 Pod网络出入向流量 irate(container_network_transmit_bytes_total[1m]) * 8 irate(container_network_receive_bytes_total[1m])

anslate_wan_addrs配置选项结合使用时，也可以在客户端代理上设置此选项。默认情况下，-adverti e通告地址。但是，在某些情况下，所有数据中心的所有成员都不能位于同一物理或虚拟网络上，尤 是混合云和私有数据中心的混合设置。此标志使服务器节点通过公共网络为WAN进行闲聊，同时使 专用VLAN互相闲聊及其客户端代理，并且如果远程数据中心是远程数据中心，则允许从远程数据中 访问此地址时访问客户端代理。配置了trans 默认为false 营商必须选择允许这些检查。如果启用，建议还启用ACL以控制允许哪些用户注册新检查以执行脚本 这是在Consul 0.9.0中添加的。 ● encrypt：指定用于加密Consul网络流量的密钥。该密钥必须是16字节的Base64编码。创建加密 钥的最简单方法是使用 consul keygen。群集中的所有节点必须共享相同的加密密钥才能进行通信。 供的密钥将自动持久保存到数据目录 离开视为永久意图，并且在启动时不会尝试再次加入群集。此标志允许使用先前的状态重新加入群集。 ● -segment：（仅限企业）此标志用于设置代理所属的网段名称。代理只能加入其网段中的其他代 并与之通信。有关详细信息，请参阅网络细分指南。默认情况下，这是一个空字符串，这是默认网段。 ● -serf-lan-port：收听的Serf LAN端口。这将覆盖默认的Serf LAN端口8301.这在Consul 1.2.2及更 版本中可用。

企业还 应将安全作为“一把手工程”，在部署数字化转型的同时，推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时，不仅带来了全新的安全场景，也成为网络安全攻防 当中的利器;2020年井喷的远程办公，拷问传统安全边界防线，让“零信任”这一有着十年历史的理念再次受到关注，成为企业构建后疫情时代安全体系 的基石;云上原生的安全能力让成本、效率、安全可以 动，隔离了风险 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全 采用IpTables，有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案， 克服了Calico SDN安全和性能方面的不足 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全，端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件：数据库、存储、中间件和大数据 来，使得计算层彻底变为无状态，可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA，绕过CPU，直接和远端内存通信，在计算与 存储分离、计算与内存分离架构上，提升网络利用率和 性能，也能得到传统数据库网络和性能上一样的体验。 • 底层Data Chunk，采用去中心存储，单体失败不影响数 据的完整性，并且自动自愈(Serverless)。 • 通过跨域数据同步能力，实现多地域数据多活。