(kenieevan@github) Zhiguohong (honkiko@github) Bypassing conntrack: Optimizing K8s Service By Enhancing IPVS with eBPF Agenda 目录 01 Problems with K8s Service How to optimize 02 Comparison with industry provides in-cluster access • NodePort provides out-of-cluster access • Major modes • Iptables • IPVS Iptables mode • How it works • DNAT at PREROUTING chain • SNAT at POSTROUTING chain • Pros • • Poor in scheduling algorithm • Iptables rules are difficult to debug IPVS mode • Services are organized in hash table • IPVS DNAT • conntrack/iptables SNAT • Pros • O(1) time complexity in control/data

iptables rule 不容易调试 IPVS mode • 使用hashtable 管理service • IPVS 仅仅提供了DNAT，还需要借用 iptables+conntrack 做SNAT • 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 eBPF 简介 • 编写eBPF程序 • 编译成eBPF中间代码 • 注入内核 • 挂载到network traffic control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack？ • 进报文 • 将处理请求的钩子从nf local-in 前移到nf pre-routing 做了hack，直接访问ip_finish_output IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF map时，将map的id 传给IPVS内核模块 • 在ip_vs_new_conn 时，插入eBPF

Github: @m1093782566 Kubernetes�Service�� Iptables��Service���� ��Iptables������� IPVS��Service���� Iptables vs. IPVS Kubernetes�Service ����onl��a�o� - ��������������t� - ���������� - �����IP�n������� Pod Pod Pod Pod Pod Kubernetes�Service�� Iptables��Service���� ��iptables������� IPVS��Service���� Iptables vs. IPVS Iptables�:�� • �������������Netfilter���� Xtables ����linux������ ��E��Iptables��� ��)�)��� 1 2 3 4 Kubernetes�Service�� Iptables��Service���� ��iptables������� IPVS��Service���� Iptables vs. IPVS Iptables�������� • �B������ KUBE-SERVICES������KUBE-SVC-*������service���������

t # firewall-cmd --list-all ★如果有硬件交换机做ACL或基于云的安全组做访问控制，则可关闭服务器上的 防火墙软件 ⑨加载ipvs模块 # cat > /etc/modules-load.d/k8s-ipvs.conf <ipvs模式 # kubectl edit cm kube-proxy -n kube-system #编辑configMap 找到kind: KubeProxyConfigura�on这行往下第2行的mode: ""，在""里写入ipvs， 保存退出 （要求在做准备工作时已加载ipvs内核模块） 再删除kube-proxy的所有pod（即重启这些pod） pod # kubectl -n kube-system delete pod kube-proxy-rssd7 #删除pod 开启了ipvs模式的k8s结点上执行ip addr命令会看到名为kube-ipvs0的接口名 ⑥部署flannel网络插件 flannel只是pod容器网络的一种实现方式，还可使用calico，canal等其他网络方 案，一套k8s集群只可使用一种网络插件

sysctl -p C. 安装 ipvs 【注】ipvs 将作为 kube-proxy 的代理模式 Step1: 安装 yum install ipvsadm ipset sysstat conntrack libseccomp –y Step2: 加载 cat > /etc/sysconfig/modules/ipvs.modules <ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack D. 安装 docker-ce 和 k8s io/v1alpha1 kind: KubeProxyConfiguration featureGates: SupportIPVSProxyMode: true mode: ipvs --- apiVersion: kubelet.config.k8s.io/v1beta1 kind: KubeletConfiguration cgroupDriver: systemd

docker内部子网 flanneld pod-gw-eth0 ipvs-eth ipvs-eth L4 k8s-svc网络-LVS 由kube-proxy管理 core-dns 解析域名 访问过程 1.core-dns解析来集群内部域名kubernetes.cluster.svc.local; 2.流量达到ipvs-eth; 3.lvs负载均衡对流量进行轮寻，寻找目的pod下一跳; node1，node的kubelet收到指令创建一个新的pod容器; 3.docker开始创建pod,从flanneld下发子网池生成pod-ip- eth; 4.kube-proxy跟据svc yaml创建ipvs-eth子网卡; 5.flanneld创建同步所有节点docker子网路由表; 你好我是分享标题 我是作者名称 flannel vs calico 采用万兆网卡的虚拟机，测试方法是不同node节点开启qperf测试