蓝维洲 2021.10.16 cilium的网络加速秘诀 蓝维洲 网络组研发负责人 演讲人 cilium介绍 https://cilium.io https://github.com/cilium cilium是 kubernetes 的 CNI 网络解决方案，创新采用了 eBPF datapath，为 kubernetes网络和 linux 社区的 eBPF 发展，启动了 最要的推动作用。 最要的推动作用。 截止 2021.10 ，cilium github 项目已有 9.3K star，Contributors 316位 cilium的特色功能： • 网络功能 • 负载均衡 • 网络安全 • 可观察性 • 多集群连通 注：本 PPT 基于 cilium v1.10.4 进行分析 ��������������� ��������������� �������������������� �������������������� ���������������� ������������������������ Cilium加速网络 性能提升的主要表现： • 不同场景下，不同程度地降低了 网络数据包的“转发延时” • 不同场景下，不同程度地提升了 网络数据包的“吞吐量” • 不同场景下，不同程度地降低了 转发数据包所需的“ CPU 开销” eBPF 简介 eBPF 技术 在 Linux

系统优化，通过优先在本 NUMA 节点内传递， 能大量减少跨 NUMA 的 Cache 同步和乒乓，从而提升锁的整体吞吐量，提升业务性能。 • 支持 TCP 压缩：大数据等场景节点间数据传输量大，网络传输是性能瓶颈。在 TCP 层对指定端口的数据进行压缩后 再传输，收包侧把数据解压后再传给用户态，从而提升分布式场景节点间数据传输的效率。 • 热补丁：内核热补丁主要针对内核的函数实现的 bug OS）的加载、启动、暂停、结束等工作；跨 OS 通信为不同 OS 之间提供一套基于共享内存 的高效通信机制；服务化框架是在跨 OS 通信基础之上便于不同 OS 提供各自擅长服务的框架，例如 Linux 提供通用的文 件系统、网络服务，实时操作系统提供实时控制、实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上 有机融合在一起的一系列机制，包括资源表达与分配，统一构建等功能。 混合关键性部署框架当前能力： 网格加速能力：以典型的 service mesh 场景为例，使能 sockmap 网格加速能力之后，业务容器和 envoy 容器之间的通信将被 ebpf 程序短接，通过缩短通信路径从而达到加速效果，对于同节点上 Pod 间通信也能通过 ebpf 程序进行加速。 功能描述 OS (ipstack + iptables) 服务 A 服务 B 服务 A 服务 B 服务治理 流量治理 流量治理 服务治理 OS

OS）的加载、启动、暂停、结束等工作；跨 OS 通信为不同 OS 之间提供一套基于共享内存的高效通信机制；服务化框架是在跨 OS 通信基础之上便于不同 OS 提供各自擅长服务的框架，例如 Linux 提供通用的文件系统、网络服务，实时操作系统提供实时控制、 实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上有机融合在一起的一系列机制，包括资源表达与分配，统一 构建等功能。 混合关键性部署框架当前能力： Linux 混合部署。 • 支持通过 gdb 在 openEuler Embedded Linux 侧远程调试。 • 支持 890+ POSIX 接口，支持文件系统、设备管理、shell 控制台、网络。 openEuler Embedded 可广泛应用于工业控制、机器人控制、电力控制、航空航天、汽车及医疗等领域。 应用场景 2. 分区虚拟化：基于 Jailhouse 实现工业级硬件分区虚拟 进程创建其他任何人（包括内核）都 无法访问的内存范围，可以用于存储私钥等用途，减少在系统内存中暴露的可能性。 • BIG TCP 特性：允许协议栈发送更大的 TSO/GRO 数据包，实现更好的网络吞吐量性能和更低的延迟。 内核创新 17 openEuler 24.03 LTS 技术白皮书 • XDP multi-buffer 支持：允许 Jumbo frame 场景下使用 XDP 提升性能。

eBPF事件驱动 Kprobe/Kretprobe Uprobe/Uretprobe XDP Tracepoint Perf 01. eBPF事件驱动 eBPF在云原生场景下的应用 第二部分 网络加速 01.网络加速 From:https://istio.io/latest/zh/blog/2022/merbridge/ eBPF 的可编程能力使其能够内核中完成包的处理和转发，而且可以添加额外扩展能力。 From:https://juejin.cn/post/7280746515525156918 安全 看到和理解所有系统调用的基础上，将其与所有网络操作的数据包和套接字级视图相结合，通 过检测来阻止恶意攻击行为，如 DDoS攻击等，实施网络策略、增强系统的安全性、稳定性。 From:https://zhuanlan.zhihu.com/p/507388164 微服务可观测的挑战 第三部分 容器 网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3：数据散落，工具多， 缺少上下文，排查效率低下 业务应用 应用框架 容器虚拟化 系统调用 内核 应用性能监控（APM） Kubernetes监控 Kubernetes组件异常： Scheduler, KCM， etcd，api-server, coredns… 系统调用异常：网络请 求，内存申请，文件操

边缘计算是未来 10 大战略技术趋势。随着智慧城市、自动驾驶、工业互联网等应用落地，海量数据将在边缘产生， IDC 预测中国 2025 年每年产生的数据将达 48.6ZB，集中式云计算在带宽负载、网络延时、数据管理成本等方面愈发显得 捉襟见肘，难以适应数据频繁交互需求，边缘计算价值凸显。 openEuler 发布的面向边缘计算的版本 openEuler 22.03 LTS Edge，集成 KubeEdge Sedna (Cloud) Global- Manager Local- Controller Local- Controller 智能协同 管理协同 边缘南向服务 服务协同 数据协同 网络协同 K8s OS Core 通信 Kit 容器引擎 KubeEdge (Cloud) EdgeMesh Agent KubeEdge (Edge) Sedna (Edge) CloudCore 制。与 PA 结合使用减少控制流攻击。 • XDP（eXpress Data Path）支持：基于 ebpf 的一种高性能、用户可编程的网络数据包传输路径，在网络报文还未 进入网络协议栈之前就对数据进行处理，提升网络性能。可用于 DDOS 防御、防火墙、网络 QOS 等场景。 • SVA（Shared Virtual Addressing）支持：进程虚拟地址在主机进程和设备间共享，实现资源跨主机与设备免拷

openEuler 21.09 技术白皮书 10 openEuler 内核中的新特性 openEuler 21.09 基于 Linux Kernel 5.10 内核构建 , 在进程调度、内存管理、网络等方面带来 12 处如下创新： 01 02 03 04 05 06 07 08 09 10 11 12 进程调度优化：优化进程负载均衡算法， 减少负载均衡过程中的开销，提升性能； PA 结合使用 减少控制流攻击。 XDP（eXpress Data Path）支持：基于 ebpf 的 一种高性能、用户可编程的网络数据包传输路径， 在网络报文还未进入网络协议栈之前就对数据进行 处理，提升网络性能。可用于 DDOS 防御、防火墙、 网络 QOS 等场景。 SVA （Shared Virtual Addressing) 支持： 进程虚拟地址在主机进程和设备间共享，实 轻量化裁剪，减少不必要的冗余包，可实现快速升级、替换等。 容器和容器混部 进程和容器混部 Linux Kernel cgroup 容器和虚机混部 虚机和虚机混部 CPU 调度 内存管理 Cache QOS 网络 QOS 在线抢占 离线 Kill SMT 负载均衡 OOM 优先级内存回收 动态水线控制策略 Cache 干扰预测 Cache 租户隔离 流量标签化管理 租户宽带分配 openEuler

例如 SNMP采集交换机内存 15MB string? 图形？触发器？ Kubernetes 架构 k8s node k8s pod k8s master 应用 Zabbix Agent HTTP Agent CPU/内存/磁盘/网络 服务/日志/... 状态/CPU/内存 Kubernetes 监控 Kubernetes Metrics Server 安装 https://github Dependent Item 历史记录保存期 1d 指标类型 预处理-LLD宏 {#K8S_NAMESPACE} {#K8S_POD_NAME} 指标原型 单位 Dependent item 类型 !m $.items[?(@.metadata.name=='{#K8S_POD_NAME}')].containers[:].usage.cpu.first() https://www.zabbix com/documentation/4.2/manual/appendix/items/jsonpath JSONPath 处理函数 $.items[?(@.metadata.name=='{#K8S_POD_NAME}')].containers[:].usage.memory.first() 指标预处理测试 最终效果 总结 l 规划&标准 l 造轮⼦子&⽣生命周期 扫码入群 关注公众号 关注微博

上下文中，您可以为每个安装的 Argo CD 有一个 control plane。GitOps control plane 是您 可以安装 Argo CD 的任何命名空间。此 control plane 允许您在网络、实例和集群间置备、管理和操作 Argo CD。 在 control plane 命名空间中，Argo CD 维护一组以下 Kubernetes 资源，这些资源定义源 Git 存储库 和目标集群之间的持续部署： Workload 任何 任何进 进程通常在 程通常在资 资源内定 源内定义 义，如 ，如 Deployment、 、StatefulSet、 、ReplicaSet、 、Job 或 或 Pod，在容器 ，在容器 内 内运 运行。示例包括 行。示例包括 Spring Boot 应 应用、 用、NodeJS Express 应 应用或 用或 Ruby on Rails 应 应用。 用。 Red 项目中会 目中会创 创建一个 建一个带 带有随机名称的新 有随机名称的新 pod。在 。在该 该 pod 上 上 收集数据，并保存至以 收集数据，并保存至以 must-gather.local 开 开头 头的一个新目 的一个新目录 录中。此目 中。此目录 录在当前工作目 在当前工作目录 录中 中创 创建。 建。 Pod 示例 示例 另 另外，您可以使用

8S）、12要素等几大主题。 腾讯云容器服务（Tencent Kubernetes Engine ，TKE） TKE 腾讯云(IAAS) 基础服务 计算资源（CVM） 存储资源（CBS） 网络资源 ……. Kubernetes多集群管理 Cluster1 Cluster2 ……. 应用服务管理 集群监控 集群日志 集群告警 基础设施监控 基础设施日志 基础设施告警 管理体系 •使用Ipamd •采用弹性网卡 •实现Pod IP跨集群访问 网络 •支持CLB •支持L5/CMLB •支持VIP 路由与服务发现 •StatefulsetPlus •原地重启 分批发布 •接口证书认证 •基于RBAC授权 权限控制 •基于项目管理 •角色鉴权认证 镜像仓库 •CBS(SSD/SATA) •Cehp/NFS 网络存储 •远端日志挂载 •页面日志查询

服务目录及产品管理...................................................................................32 2.4.7 部署资源池及网络分配管理........................................................................36 2.4.8 流程配额管理....... 解放了一半工作时间精力。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 9 1.3.3 简化流程，降低协作沟通成本，缩短交付时间 数据中心内部通常由不同的人、小组、部门负责系统、网络、安全，并且各个部门小组 使用独立的运维管理工具，在部署运行环境时，需要资源申请使用部门向其他各个小组申请 配合协作部署资源、申请 IP 地址、将资源信息同步加入到 CMDB、堡垒机、应用部署平台 、树根 互联、海康威视、旺旺、大华、中控技术、长鑫存储、中国中冶、扬子 江药业、泰格医药、中国烟草、OPPO、立白、美的、无限极、深圳联 友、TCL、致欧家具、上海烟草 软件开发(4) 用友网络、爱数科技、容联七陌、同望科技 交通物流(12) 中航结算、中远海运、兰州朗青、苏州公交集团、远成物流、西安铁路 局、亿通国际、江苏省交通厅、浦东机场、南京地铁、广州交通信息、 厦门航空 能源资源(15)