蓝维洲 2021.10.16 cilium的网络加速秘诀 蓝维洲 网络组研发负责人 演讲人 cilium介绍 https://cilium.io https://github.com/cilium cilium是 kubernetes 的 CNI 网络解决方案，创新采用了 eBPF datapath，为 kubernetes网络和 linux 社区的 eBPF 发展，启动了 最要的推动作用。 最要的推动作用。 截止 2021.10 ，cilium github 项目已有 9.3K star，Contributors 316位 cilium的特色功能： • 网络功能 • 负载均衡 • 网络安全 • 可观察性 • 多集群连通 注：本 PPT 基于 cilium v1.10.4 进行分析 ��������������� ��������������� �������������������� �������������������� ���������������� ������������������������ Cilium加速网络 性能提升的主要表现： • 不同场景下，不同程度地降低了 网络数据包的“转发延时” • 不同场景下，不同程度地提升了 网络数据包的“吞吐量” • 不同场景下，不同程度地降低了 转发数据包所需的“ CPU 开销” eBPF 简介 eBPF 技术 在 Linux

系统优化，通过优先在本 NUMA 节点内传递， 能大量减少跨 NUMA 的 Cache 同步和乒乓，从而提升锁的整体吞吐量，提升业务性能。 • 支持 TCP 压缩：大数据等场景节点间数据传输量大，网络传输是性能瓶颈。在 TCP 层对指定端口的数据进行压缩后 再传输，收包侧把数据解压后再传给用户态，从而提升分布式场景节点间数据传输的效率。 • 热补丁：内核热补丁主要针对内核的函数实现的 bug OS）的加载、启动、暂停、结束等工作；跨 OS 通信为不同 OS 之间提供一套基于共享内存 的高效通信机制；服务化框架是在跨 OS 通信基础之上便于不同 OS 提供各自擅长服务的框架，例如 Linux 提供通用的文 件系统、网络服务，实时操作系统提供实时控制、实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上 有机融合在一起的一系列机制，包括资源表达与分配，统一构建等功能。 混合关键性部署框架当前能力： 网格加速能力：以典型的 service mesh 场景为例，使能 sockmap 网格加速能力之后，业务容器和 envoy 容器之间的通信将被 ebpf 程序短接，通过缩短通信路径从而达到加速效果，对于同节点上 Pod 间通信也能通过 ebpf 程序进行加速。 功能描述 OS (ipstack + iptables) 服务 A 服务 B 服务 A 服务 B 服务治理 流量治理 流量治理 服务治理 OS

OS）的加载、启动、暂停、结束等工作；跨 OS 通信为不同 OS 之间提供一套基于共享内存的高效通信机制；服务化框架是在跨 OS 通信基础之上便于不同 OS 提供各自擅长服务的框架，例如 Linux 提供通用的文件系统、网络服务，实时操作系统提供实时控制、 实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上有机融合在一起的一系列机制，包括资源表达与分配，统一 构建等功能。 混合关键性部署框架当前能力： Linux 混合部署。 • 支持通过 gdb 在 openEuler Embedded Linux 侧远程调试。 • 支持 890+ POSIX 接口，支持文件系统、设备管理、shell 控制台、网络。 openEuler Embedded 可广泛应用于工业控制、机器人控制、电力控制、航空航天、汽车及医疗等领域。 应用场景 2. 分区虚拟化：基于 Jailhouse 实现工业级硬件分区虚拟 进程创建其他任何人（包括内核）都 无法访问的内存范围，可以用于存储私钥等用途，减少在系统内存中暴露的可能性。 • BIG TCP 特性：允许协议栈发送更大的 TSO/GRO 数据包，实现更好的网络吞吐量性能和更低的延迟。 内核创新 17 openEuler 24.03 LTS 技术白皮书 • XDP multi-buffer 支持：允许 Jumbo frame 场景下使用 XDP 提升性能。

eBPF事件驱动 Kprobe/Kretprobe Uprobe/Uretprobe XDP Tracepoint Perf 01. eBPF事件驱动 eBPF在云原生场景下的应用 第二部分 网络加速 01.网络加速 From:https://istio.io/latest/zh/blog/2022/merbridge/ eBPF 的可编程能力使其能够内核中完成包的处理和转发，而且可以添加额外扩展能力。 From:https://juejin.cn/post/7280746515525156918 安全 看到和理解所有系统调用的基础上，将其与所有网络操作的数据包和套接字级视图相结合，通 过检测来阻止恶意攻击行为，如 DDoS攻击等，实施网络策略、增强系统的安全性、稳定性。 From:https://zhuanlan.zhihu.com/p/507388164 微服务可观测的挑战 第三部分 容器 网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3：数据散落，工具多， 缺少上下文，排查效率低下 业务应用 应用框架 容器虚拟化 系统调用 内核 应用性能监控（APM） Kubernetes监控 Kubernetes组件异常： Scheduler, KCM， etcd，api-server, coredns… 系统调用异常：网络请 求，内存申请，文件操

边缘计算是未来 10 大战略技术趋势。随着智慧城市、自动驾驶、工业互联网等应用落地，海量数据将在边缘产生， IDC 预测中国 2025 年每年产生的数据将达 48.6ZB，集中式云计算在带宽负载、网络延时、数据管理成本等方面愈发显得 捉襟见肘，难以适应数据频繁交互需求，边缘计算价值凸显。 openEuler 发布的面向边缘计算的版本 openEuler 22.03 LTS Edge，集成 KubeEdge Sedna (Cloud) Global- Manager Local- Controller Local- Controller 智能协同 管理协同 边缘南向服务 服务协同 数据协同 网络协同 K8s OS Core 通信 Kit 容器引擎 KubeEdge (Cloud) EdgeMesh Agent KubeEdge (Edge) Sedna (Edge) CloudCore 制。与 PA 结合使用减少控制流攻击。 • XDP（eXpress Data Path）支持：基于 ebpf 的一种高性能、用户可编程的网络数据包传输路径，在网络报文还未 进入网络协议栈之前就对数据进行处理，提升网络性能。可用于 DDOS 防御、防火墙、网络 QOS 等场景。 • SVA（Shared Virtual Addressing）支持：进程虚拟地址在主机进程和设备间共享，实现资源跨主机与设备免拷

openEuler 21.09 技术白皮书 10 openEuler 内核中的新特性 openEuler 21.09 基于 Linux Kernel 5.10 内核构建 , 在进程调度、内存管理、网络等方面带来 12 处如下创新： 01 02 03 04 05 06 07 08 09 10 11 12 进程调度优化：优化进程负载均衡算法， 减少负载均衡过程中的开销，提升性能； PA 结合使用 减少控制流攻击。 XDP（eXpress Data Path）支持：基于 ebpf 的 一种高性能、用户可编程的网络数据包传输路径， 在网络报文还未进入网络协议栈之前就对数据进行 处理，提升网络性能。可用于 DDOS 防御、防火墙、 网络 QOS 等场景。 SVA （Shared Virtual Addressing) 支持： 进程虚拟地址在主机进程和设备间共享，实 轻量化裁剪，减少不必要的冗余包，可实现快速升级、替换等。 容器和容器混部 进程和容器混部 Linux Kernel cgroup 容器和虚机混部 虚机和虚机混部 CPU 调度 内存管理 Cache QOS 网络 QOS 在线抢占 离线 Kill SMT 负载均衡 OOM 优先级内存回收 动态水线控制策略 Cache 干扰预测 Cache 租户隔离 流量标签化管理 租户宽带分配 openEuler

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 3.7.3 网络接口初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 Debian 参考手册 ix 5 网络设置 95 5.1 基本网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 5.1.2 网络接口名称 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.1.3 局域网网络地址范围 . . . . . . . . . . . . . . . . . .

)，所以，首先我们来简单的 说一说什么是操作系统吧！先来想一想，当我们使用计算机时，屏幕上面显示的咚咚是由哪里来的？ 嗯！是由显示卡与屏幕显像的；那么你现在可以藉由网络看到这篇文章，则是藉由 Internet 、网络卡、 网络线以及所有相关的电子器材与网络器材所完成的一项任务！如果你要看 VCD 呢？那么就需要光驱、 光盘、声卡的发声等等的支持。这么说来的话，所以在『工作』的东西都是『硬件』的工作呀！对了！ Unix 』是也！怎么这么说呢？！他们这两个家伙有什么关系呀？这里就给他说一说 啰！众所皆知的， Linux 的核心是由 Linus Torvalds 在 1991 年的时候给他开发出来的，并且丢到网络上 提供大家下载，后来大家觉得这个小东西 ( Linux Kernel ) 相当的小而精巧，所以慢慢的就有相当多的朋友 投入这个小东西的研究领域里面去了！但是为什么这的小东西这么棒呢？！然而又为什么大家都可以免费 亦可取得其原始码 ( Source Code )； • 取得 GPL 授权之软件后，任何人均可进行修改原始码，以符合自己的喜好； • 除此之外，经过修改的 Source Code 应回报给网络社会，提供大家来参考！ 但请特别留意，并非挂上 GPL 之后的软件就不可贩卖，这个是不同的两回事呦！举个例子来说，在 Red Hat 的官方网站上面提供 Red Hat 释出的 Linux 安装光盘提供大众下载，但是

transparently insert security visibility + enforcement, but does so in a way that is based on service / pod / container identity (in contrast to IP address identification in traditional systems) and can filter paths include with and without service load- balancing and various network policy combinations. The pod name indicates the connectivity variant and the readiness and liveness gate indicates success or failure 65s pod-to-a-79546bc469-rl2qq 1/1 Running 0 66s pod-to-a-allowed-cnp-58b7f7fb8f-lkq7p 1/1 Running 0 66s pod-to-a-de

transparently insert security visibility + enforcement, but does so in a way that is based on service / pod / container identity (in contrast to IP address identification in traditional systems) and can filter this: ♻ Restarted unmanaged pod kube-system/event-exporter-gke-564fb97f9- rv8hg ♻ Restarted unmanaged pod kube-system/kube-dns-6465f78586-hlcrz ♻ Restarted unmanaged pod kube-system/kube-dns-autoscaler- Restarted unmanaged pod kube-system/l7-default-backend-7fd66b8b88- qqhh5 ♻ Restarted unmanaged pod kube-system/metrics-server-v0.3.6- 7b5cdbcbb8-kjl65 ♻ Restarted unmanaged pod kube-system/stackdr