蓝维洲 2021.10.16 cilium的网络加速秘诀 蓝维洲 网络组研发负责人 演讲人 cilium介绍 https://cilium.io https://github.com/cilium cilium是 kubernetes 的 CNI 网络解决方案，创新采用了 eBPF datapath，为 kubernetes网络和 linux 社区的 eBPF 发展，启动了 最要的推动作用。 最要的推动作用。 截止 2021.10 ，cilium github 项目已有 9.3K star，Contributors 316位 cilium的特色功能： • 网络功能 • 负载均衡 • 网络安全 • 可观察性 • 多集群连通 注：本 PPT 基于 cilium v1.10.4 进行分析 ��������������� ��������������� �������������������� �������������������� ���������������� ������������������������ Cilium加速网络 性能提升的主要表现： • 不同场景下，不同程度地降低了 网络数据包的“转发延时” • 不同场景下，不同程度地提升了 网络数据包的“吞吐量” • 不同场景下，不同程度地降低了 转发数据包所需的“ CPU 开销” eBPF 简介 eBPF 技术 在 Linux

用于创建和管理.arj压缩包 arp arp 命令用于显示和修改 IP 到 MAC 转换表 arpd 收集免费ARP信息 arping 通过发送ARP协议报文测试网络 arptables 管理ARP包过滤规则表 arpwatch 监听网络上ARP的记录 as 汇编语言编译器 at 在指定时间执行一个任务 atop 监控Linux系统资源与进程的工具 atq 列出当前用户的at任务列表 atrm bmodinfo 显示给定模块的详细信息 break 结束for，while或until循环 builtin 执行bash内建命令 bunzip2 创一个bz2文件压缩包 bye 命令用于中断FTP连线并结束程序 bzcat 解压缩指定的.bz2文件 bzcmp 比较两个压缩包中的文件 bzdiff 直接比较两个.bz2压缩包中文件的不同 bzgrep 使用正则表达式搜索.bz2压缩包中文件 查询或更改系统主机名 hping3 测试网络及主机的安全 htdigest Apache服务器内置工具 htop [非内部命令]一个互动的进程查看器，可以动态观察系统进程状况 htpasswd apache服务器创建密码认证文件 hwclock 显示与设定硬件时钟 I iconv 转换文件的编码方式 id 打印真实以及有效的用户和所在组的信息 ifcfg 置Linux中的网络接口参数 ifconfig

边缘计算是未来 10 大战略技术趋势。随着智慧城市、自动驾驶、工业互联网等应用落地，海量数据将在边缘产生， IDC 预测中国 2025 年每年产生的数据将达 48.6ZB，集中式云计算在带宽负载、网络延时、数据管理成本等方面愈发显得 捉襟见肘，难以适应数据频繁交互需求，边缘计算价值凸显。 openEuler 发布的面向边缘计算的版本 openEuler 22.03 LTS Edge，集成 KubeEdge Sedna (Cloud) Global- Manager Local- Controller Local- Controller 智能协同 管理协同 边缘南向服务 服务协同 数据协同 网络协同 K8s OS Core 通信 Kit 容器引擎 KubeEdge (Cloud) EdgeMesh Agent KubeEdge (Edge) Sedna (Edge) CloudCore 镜像轻量化定制，提供 OS 镜像 <5M，以及 <5S 快速启动 等能力。 2. 多硬件支持：新增支持树莓派作为嵌入式场景通用硬件。 3. 软实时内核：基于 Linux 5.10 内核提供软实时能力，软实时中断响应时延微秒级。 4. 混合关键性部署：实现 SOC 内实时和非实时多平面混合部署，并支持 Zephyr 实时内核。 5. 分布式软总线基础能力：集成鸿蒙的分布式软总线，实现欧拉嵌入式设备之间互联互通。

内核热升级 修复内核高危安全 CVE 漏洞 , 升级加载新的安全内核 , 内核热升级可以保证关键核心业务不中断。内核在升级前检测业 务使用资源状态，利用快速冻结技术对业务使用资源的状态进行冻结，利用快速加载技术对新内核进行加载，然后对冰冻的 资源状态进行恢复。 为了在修复内核问题的过程中保证业务不中断，热补丁技术应运而生。但热补丁技术有很多局限性，例如：不能改变数 据结构、不能修复 inline 择： 1. 重启主机：连接的用户会感知到业务中断，且由于重启时间长，导致业务中断时间较长，用户不可以接受。 2. 业务迁移：典型业务占用大量的内存，需要对整个内存进行迁移，这样会导致长时间的业务性能低下问题，不能满足 客户性能指标。 3. 热补丁：无法修复所有的问题，部分问题热补丁无法打入。 利用内核热升级，可以保持业务无中断与性能无损的情况下，修复内核问题。 用户态 MySQL 策略，可以显著改善高优先级任务的调度延迟， 降低对其他任务的干扰。优化 NUMA balancing 机制，带来更好的亲和性、更高的使用率和更少 的无效迁移。 2. CPU 隔离机制增强：支持中断隔离，支持 unbound kthreads 隔离，增强 CPU 核的隔离性， 可以更好的避免业务间的相互干扰。 3. 进程间通信优化：pipe_wait、epoll_wait 唤醒机

<5M，以及 <5s 快速启动等能力。 2. 多硬件支持：支持树莓派、X86、Hi3093、RK3568 作为嵌入式场景通用硬件。 3. 软实时内核：基于 Linux 5.10 内核提供软实时能力，软实时中断响应时延微秒级。 4. 嵌入式弹性虚拟化底座：提供多种虚拟化方案，满足用户不同硬件和业务场景需要： • baremetal：基于 openAMP 实现裸金属混合部署方案，支持外设分区管理，性能最好，但隔离性和灵活性较差。目 嵌入式 Linux 混合部署。 5. 嵌入式软件包支持：350+ 嵌入式领域常用软件包的构建。 6. 硬实时内核（UniProton）：支持 POSIX 接口（103 个），上下文切换时延 3us、中断延迟 2us。 未来还将提供： • 南向生态：RISC-V、龙芯支持。 • 混合关键性部署框架：围绕生命周期管理、跨 OS 通信、服务化框架、多 OS 协同构建 4 个方面持续打造标准混部框架， 柔性限流：支持关键在线业务被 CPU 限流时允许短时间突破 limit 限制，保障在线业务运行的服务质量。 • PSI 指标观测增强：支持 cgroup v1 级别的压力信息统计，识别和量化资源竞争导致的业务中断风险，支撑用户实现 硬件资源利用率提升。 功能描述 rubik 性能调优 弹性限流 拓扑编排 资源预测 隔离抢占 资源调优 QoS配置 指标监控 资源使用 eBPF PMU RDT

系统优化，通过优先在本 NUMA 节点内传递， 能大量减少跨 NUMA 的 Cache 同步和乒乓，从而提升锁的整体吞吐量，提升业务性能。 • 支持 TCP 压缩：大数据等场景节点间数据传输量大，网络传输是性能瓶颈。在 TCP 层对指定端口的数据进行压缩后 再传输，收包侧把数据解压后再传给用户态，从而提升分布式场景节点间数据传输的效率。 • 热补丁：内核热补丁主要针对内核的函数实现的 bug 支持核挂死检测特性：解决 PMU 停止计数导致 hardlockup 无法检测系统卡死的问题，利用核间 CPU 挂死检测机制， 让每个 CPU 检测相邻 CPU 是否挂死，保障系统在部分 CPU 关中断挂死场景下能够自愈。 特性增强 15 openEuler 23.09 技术白皮书 特性增强 特性增强 16 openEuler 23.09 技术白皮书 嵌入式 openEuler 发布面向嵌入式领域的版本 OS）的加载、启动、暂停、结束等工作；跨 OS 通信为不同 OS 之间提供一套基于共享内存 的高效通信机制；服务化框架是在跨 OS 通信基础之上便于不同 OS 提供各自擅长服务的框架，例如 Linux 提供通用的文 件系统、网络服务，实时操作系统提供实时控制、实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上 有机融合在一起的一系列机制，包括资源表达与分配，统一构建等功能。 混合关键性部署框架当前能力：

pdf 文档，有章节书签，可以下载到本地来查看，点 击书签进入相应的章节。 2.蓝色的字为配置命令，绿色的字为命令的注释，有时命令太密集时，就不用蓝色标出了。 3.本文档仅为基础操作教程，不涉及网络服务的配置（比如 web 服务器等） 4.注意：本文档的所有操作请先在在虚拟机里进行实践，请不要直接在真实的服务器中操作！ 作者：李茂福 日期：2019 年 12 月 27 日 0、下载并安装 *程序的每一个运行实例都是一个进程，Linux 系统上运行着普通的进程和守护进程。 守护进程就是为用户提供服务的进程，主要有 2 类： 系统守护进程：为本地用户提供服务的，提供给用户的基本功能 网络守护进程：为远程的网络用户提供服务的，如 web 服务，ssh 服务，ftp 服务等。 *系统初始化进程是一个特殊的守护进程，其 pid 为 1,它用于管理系统上的所有守护进程 比如要开启哪些守护进程，关闭哪 *使用 mv, cp -p 命令移动复制文件时，将保持文件的 FACL 设置 *在 Centos7 中，若目录上已配置 facl，在目录里创建新文件时，新文件不会继承目录的 facl 46 十三、网络配置 #ip address //先查看有几张网卡，以及网卡的 IP *如上图，每个网卡名前都有一个数字编号，从 1 开始。本系统中有 2 个网卡（lo 和 ens33） lo 表示本地环回网卡，不用管它

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 3.7.3 网络接口初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 Debian 参考手册 ix 5 网络设置 95 5.1 基本网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 5.1.2 网络接口名称 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.1.3 局域网网络地址范围 . . . . . . . . . . . . . . . . . .

OS）的加载、启动、暂停、结束等工作；跨 OS 通信为不同 OS 之间提供一套基于共享内存的高效通信机制；服务化框架是在跨 OS 通信基础之上便于不同 OS 提供各自擅长服务的框架，例如 Linux 提供通用的文件系统、网络服务，实时操作系统提供实时控制、 实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上有机融合在一起的一系列机制，包括资源表达与分配，统一 构建等功能。 混合关键性部署框架当前能力： 运行时：支持 ROS2 humble 版本，集成 ros-core、ros-base、SLAM 等核心包，并提供 ROS SDK，简化嵌入式 ROS 开发。 3. 软实时内核：提供软实时能力，软实时中断响应时延微秒级。 4. 分布式软总线基础能力：集成 OpenHarmony 的分布式软总线和 hichain 点对点认证模块，实现欧拉嵌入式设备之间互联互通、 欧拉嵌入式设备和 OpenHarmony Linux 混合部署。 • 支持通过 gdb 在 openEuler Embedded Linux 侧远程调试。 • 支持 890+ POSIX 接口，支持文件系统、设备管理、shell 控制台、网络。 openEuler Embedded 可广泛应用于工业控制、机器人控制、电力控制、航空航天、汽车及医疗等领域。 应用场景 2. 分区虚拟化：基于 Jailhouse 实现工业级硬件分区虚拟

实现文件共享，使用 BIND 提供域名解析服务，使用 DHCP 动态管理主机地址，使用 Postfix 与 Dovecot 部署邮件系统，使用 Ansible 服务实现自动化运维，使用 iSCSI 服务部署网络存储，使用 MariaDB 数据库管理系统，使用 PXE+Kickstart 无人值守安装服务，使用 LNMP 架构部署动态网站环境等。此外， 本书的配套站点还深度点评了红帽 RHCSA、RHCE、RHCA 219 ................................................................................... 221 9.1 配置网络服务 ................................................................................................ ..................................................................................... 221 9.1.2 创建网络会话 ................................................................................................