Enhancing IPVS with eBPF Agenda 目录 01 Problems with K8s Service How to optimize 02 Comparison with industry Performance measurement 03 04 Future work 05 06 Lessons from eBPF What is K8s Service busy polling even when network is idle. • Why not use a pure eBPF service? • Not mature enough eBPF brief • Write C • Compile into eBPF assembly code • Inject to kernel • Attach to network tc hooks entry BPF SNAT IPVS mode data path IPVS-eBPF mode data path How eBPF does SNAT • Why does SNAT with eBPF • eBPF program is easy to deploy • How to do SNAT in eBPF • Do SNAT in TC egress • Do reverse

TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 兼顾产品的稳定性，功能足够丰富 弯路 • 为什么DPDK不行？ • 独占cpu，不适合分布式的lb • 为什么纯粹的eBPF方法不行 • 不够成熟 eBPF 简介 • 编写eBPF程序 • 编译成eBPF中间代码 • 注入内核 • 挂载到network traffic control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF map时，将map的id 传给IPVS内核模块 • 在ip_vs_new_conn 时，插入eBPF map • (protocol, clientip:cport -> targetip:dport)

部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 精细化管 理、灵活的 IP 规划及分配。 如果在应用落地场景中未安装 Underlay CNI，可以不安装 SpiderPool。 3. Cilium 作为高性能 Overlay CNI，提供 eBPF 内核加速，实现跨集群 Pod 通 信和跨集群 Service 通信，以及支持灵活的细粒度网络策略下发和丰富的流 量观测能力。 版权 © 2023 DaoCloud 第 16 页

工作流集成，为每次提交生成用户界面变更集，从而方便审查。我们的 团队发现 Chromatic 与该领域其他工具的视觉差异要大得多；可视化高亮显示变更的功能让它非常实用。 51. Cilium 试验 eBPF 以其应用透明、高性能和低开销而闻名，因此云原生社区一直在探索其在无边车网格服务（service mesh without sidecar） 中的应用场景。Cilium 是一个为云原生环境如（Kubernetes 可以作为一种新的网络保护层发挥重要作用。我们已经看到 一些云服务提供商采用了 Cilium，我们的一些项目中也使用了 Cilium。社区仍在讨论 eBPF 是否可以替代边车 （sidecar），但似乎这已经达成共识，即某些网格功能不能或不应该在内核中执行。此外，使用 Cilium 还需要 eBPF 相关的经验。基于我们项目取得的良好成果，我们建议您亲自实践一下这项技术。 52. 云服务的碳足迹 试验 Cloud 度已经显示出了它的巨大潜力。您也可以使用 OrbStack 在 macOS 上创建和管理 Linux 虚拟机。 81. Pixie 评估 Pixie 是一个用于 Kubernetes 原生应用程序的可观察性工具。它通过利用 eBPF 从多个 数据源 自动地采集遥测 数据，以一种有趣的方式实现了可观察性。收集到的遥测数据被本地存储到每个节点上，并通过其控制平面 API 进行集中处理。总的来说，我们认为 Pixie 在 Kubernetes

全链路网络异常收集 • 通过 ebpf 追踪丢包调用栈 Pod Node eth0 eth0 VPC 容器内配置错误 Iptables、路由配置错误 网卡、驱动配置错误 安全组配置错误 VPC 转发配置错误 Autopilot Engine 诊断任务 网络检测 Conntrack 采集 网卡丢包事件 所有包采集 Flow 采集 ebpf 注入 trace 读取

Cilium + BPF 实现流量统计 Slide source credit to: How to Make Linux Microservice-Aware with Cilium and eBPF (InfoQ, 2019) 集群生命周期管理 创建集群 装其它应用 增删集群节点 离线交付 sealos build 轻量级负载均衡器 完全取代 Haproxy Keepalived