绕过conntrack，使用eBPF增强 IPVS优化K8s网络性能

《绕过conntrack，使用eBPF增强IPVS优化K8s网络性能》摘要 本文提出利用eBPF增强IPVS以优化Kubernetes（K8s）网络性能的方法，主要内容如下： 1. **K8s Service的问题与优化方向**： - K8s Service通过负载均衡暴露Pod集合，支持ClusterIP和NodePort两种类型。 - IPVS是K8s Service的主要模式，支持多种调度算法，但依赖conntrack可能导致性能瓶颈。 2. **IPVS绕过conntrack的实现**： - ingress方向：将IPVS Netfilter hook从local-in移到PREROUTING。 - egress方向：直接调用ip_finish_output，跳过传统的nf local-out和post-route流程。 - 挑战： - PREROUTING阶段skb路由指针为空。 - K8s Service在PREROUTING阶段未完成分片处理。 3. **eBPF实现SNAT**： - 通过eBPF Map实现SNAT，兼容IPVS功能，提升效率和安全性。 - 优点： - 复用IPVS的功能和成熟度。 - 节省内核修改，相比淘宝IPVS SNAT补丁更高效。 4. **性能测量与建议**： - 集群配置一致性影响性能测试结果。 - 测试时建议： - 确保集群配置一致。 - 将CPU作为瓶颈，单CPU处理能力可达500,000 pps。 - 确保负载均衡和服务器性能充足。 5. **已解决的问题**： -OCUMENTworthy的问题： - IPVS conn_reuse_mode=1导致cps低。 - iptables SNAT和conntrack插入导致DNS解析延迟5秒。 - 解决方案： - 优化eBPF代码，增加端口分配和插入重试逻辑。 总结：通过eBPF增强IPVS，绕过conntrack/iptables，提升K8s网络性能，具备更高效、安全且低内核改动的优势。