蓝维洲 2021.10.16 cilium的网络加速秘诀 蓝维洲 网络组研发负责人 演讲人 cilium介绍 https://cilium.io https://github.com/cilium cilium是 kubernetes 的 CNI 网络解决方案，创新采用了 eBPF datapath，为 kubernetes网络和 linux 社区的 eBPF 发展，启动了 最要的推动作用。 最要的推动作用。 截止 2021.10 ，cilium github 项目已有 9.3K star，Contributors 316位 cilium的特色功能： • 网络功能 • 负载均衡 • 网络安全 • 可观察性 • 多集群连通 注：本 PPT 基于 cilium v1.10.4 进行分析 ��������������� ��������������� �������������������� �������������������� ���������������� ������������������������ Cilium加速网络 性能提升的主要表现： • 不同场景下，不同程度地降低了 网络数据包的“转发延时” • 不同场景下，不同程度地提升了 网络数据包的“吞吐量” • 不同场景下，不同程度地降低了 转发数据包所需的“ CPU 开销” eBPF 简介 eBPF 技术 在 Linux

及内存带宽控制：支持对低优先级虚拟机的 LLC 和内存带宽进行限制，当前仅支持静态分配。 • CPU 干扰控制：支持 CPU 时间片 us 级抢占及 SMT 干扰隔离，同时具有防优先级反转能力。 • memcg 异步内存回收：支持限制混部时离线应用使用的总内存，并在在线内存使用量增加时动态压缩离线业务内存 使用。 • QuotaBurst 柔性限流：支持关键在线业务被 CPU 限流时允许短时间突破 limit 鲲鹏安全库（kunpengsecl）是开发运行在鲲鹏处理器上的基础安全软件组件，先期主要聚焦在远程证明等可信计算 相关领域，使能社区安全开发者。 鲲鹏安全库的每个特性都可以由两大部分组成：组件和服务。组件部署在提供资源（计算、存储、网络）为用户运行 工作负载的工作服务器节点上，将平台安全可信能力转化为软件接口，并将其提供给服务。服务则部署在专门的管理服务 器节点上，汇聚来自所有工作服务器节点的安全可信能力，并将其提供给用户及其指定的管理工具以达成用户的对系统安 安全通道enclave 4.解密 2.加密 数据处理方 安全通道 数据拥有者在请求云上机密计算服务 时，需要把待处理数据上传到云上 TEE 环 境中处理，由于 TEE 没有网络，用户数据 需要经过网络先传输到 REE，REE 接收到 数据的明文后，再传入 TEE 中。用户数据 的明文暴露在 REE 内存中，存在安全风险。 secGear 安全通道基于远程证明和密 钥协商，实现数据拥有方与

UKUI/DDE/Xfce DB Web 资源编排 消息中间件 内核热升级 文件系统 芯片、外设驱动 Linux Kernel 5.10 计算 架构 进程 管理 驱动 框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新： • Linux Kernel 5.10 ：调度、IO、内存管理深度优化。 • 内存分层扩展 etMem：支持多种内存、存储介质统一管理，系统容量平滑扩展。 openEuler 21.03 基于 Linux Kernel 5.10 内核构建，带来了超过 20 多项性能与功能提升： 1. 支持调度器优化：优化 CFS Task 的公平性，新增 NUMA-Aware 异步调用机制，在 NVDIMM 初始 化方面有明显的提升；优化 SCHED_IDLE 的调度 策略，可以显著改善高优先级任务的调度延迟， 降低对其他任务的干扰。优化 NUMA balancing 优化单线程迁移性能：消除对 Thread Group 读写信号量的依赖；引入 Time Namespace 方便容器迁移。 6. 系统容器支持对容器内使用文件句柄数进行限制： 文件句柄包括普通文件句柄和网络套接字。启动 容器时，可以通过指定 --files-limit 参数限制容器 内打开的最大句柄数。 7. 支持 PSI ：提供了一种评估系统资源 CPU、内存、 数据读写压力的方法。准确的检测方法可以帮资

系统优化，通过优先在本 NUMA 节点内传递， 能大量减少跨 NUMA 的 Cache 同步和乒乓，从而提升锁的整体吞吐量，提升业务性能。 • 支持 TCP 压缩：大数据等场景节点间数据传输量大，网络传输是性能瓶颈。在 TCP 层对指定端口的数据进行压缩后 再传输，收包侧把数据解压后再传给用户态，从而提升分布式场景节点间数据传输的效率。 • 热补丁：内核热补丁主要针对内核的函数实现的 bug 还可以减少进程之间的通信开销，提高了系统的整体性能。 • Memcg 异步回收：Memcg 是一种内核机制，用于限制和管理进程组的内存使用量。当一个进程组使用的内存超过了 Memcg 的限制时，Memcg 会触发内存回收，以确保系统的稳定性和可靠性。Memcg 异步回收是一种优化机制，它 可以在系统负载较低的时候，异步地回收 Memcg 中的内存，以避免在系统负载高峰期间出现内存回收的延迟和性能 OS）的加载、启动、暂停、结束等工作；跨 OS 通信为不同 OS 之间提供一套基于共享内存 的高效通信机制；服务化框架是在跨 OS 通信基础之上便于不同 OS 提供各自擅长服务的框架，例如 Linux 提供通用的文 件系统、网络服务，实时操作系统提供实时控制、实时计算等服务；多 OS 基础设施是从工程角度为把不同 OS 从工程上 有机融合在一起的一系列机制，包括资源表达与分配，统一构建等功能。 混合关键性部署框架当前能力：

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563 5 网络拓扑图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 591 1 网络发现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1886 6 使用 Zabbix 监控网络流量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1890 7 使用主动检查监控网络流量 . . . . . . . . . . . . . . . . . . . .

e EndPoint ●Accept的Socket可以获得Remote EndPoint10 BRPC Socket对象 ●brpc最终的网络通讯都集中在socket对象里面 ●读socket通过EventDispatcher触发 ●上层发送网络数据通过写socket完成，不能立刻完成的，则去启动后台bthread去完成。11 BRPC SocketMap ●根据EndPoint作为 –hash table –epoll event loop – memory register cache –config file24 UCT ●特点是比较原始，开销小，但是没有很强的功能 ●是网络接口层，主要功能是网卡发现和远程内存传输支持，提供component查询和 memory domain的打开 ●一个component包含若干 memory domain resource,一个memory –接收连接请求 ●Ep –连接对象，在ep上请求发送和接收29 UCP 消息接口类型 ●Active message –速度最快，被brpc使用作为消息传递 –消息通过回调函数接收 –消息异步发送 ●Tag –MPI使用 ●Stream –官方不推荐30 WORKER ●worker是UCX通讯中的核心概念，它是一个进度引擎(progress engine) ●worker

用于创建和管理.arj压缩包 arp arp 命令用于显示和修改 IP 到 MAC 转换表 arpd 收集免费ARP信息 arping 通过发送ARP协议报文测试网络 arptables 管理ARP包过滤规则表 arpwatch 监听网络上ARP的记录 as 汇编语言编译器 at 在指定时间执行一个任务 atop 监控Linux系统资源与进程的工具 atq 列出当前用户的at任务列表 atrm 查询或更改系统主机名 hping3 测试网络及主机的安全 htdigest Apache服务器内置工具 htop [非内部命令]一个互动的进程查看器，可以动态观察系统进程状况 htpasswd apache服务器创建密码认证文件 hwclock 显示与设定硬件时钟 I iconv 转换文件的编码方式 id 打印真实以及有效的用户和所在组的信息 ifcfg 置Linux中的网络接口参数 ifconfig ifconfig 配置和显示Linux系统网卡的网络参数 ifdown 禁用指定的网络接口 ifstat 统计网络接口流量状态 iftop 一款实时流量监控工具 ifup 激活指定的网络接口 indent 格式化C语言的源文件 info Linux下info格式的帮助指令 init init进程是所有Linux进程的父进程 inotifywait 异步文件系统监控机制 insmod 将给定的模块加载到内核中

openEuler 21.09 技术白皮书 10 openEuler 内核中的新特性 openEuler 21.09 基于 Linux Kernel 5.10 内核构建 , 在进程调度、内存管理、网络等方面带来 12 处如下创新： 01 02 03 04 05 06 07 08 09 10 11 12 进程调度优化：优化进程负载均衡算法， 减少负载均衡过程中的开销，提升性能； PA 结合使用 减少控制流攻击。 XDP（eXpress Data Path）支持：基于 ebpf 的 一种高性能、用户可编程的网络数据包传输路径， 在网络报文还未进入网络协议栈之前就对数据进行 处理，提升网络性能。可用于 DDOS 防御、防火墙、 网络 QOS 等场景。 SVA （Shared Virtual Addressing) 支持： 进程虚拟地址在主机进程和设备间共享，实 基于指针的目录双视图计数机制，减少元数据同步开销，有效提升文件系统读写性能。 5. 依赖跟踪：目录项的新建、删除等操作并不是立刻持久化的，在进行相应的操作后，只是在 inode 中跟踪依赖的 持久化操作，后续通过异步的方式进行持久化，可以大幅提高性。 应用场景 通用的针对 NVDIMM 新介质的文件系统，可代替 EXT4，XFS 等文件系统，满足单机应用、云原生分布式应用高性能 数据存储诉求。 openEuler

)，所以，首先我们来简单的 说一说什么是操作系统吧！先来想一想，当我们使用计算机时，屏幕上面显示的咚咚是由哪里来的？ 嗯！是由显示卡与屏幕显像的；那么你现在可以藉由网络看到这篇文章，则是藉由 Internet 、网络卡、 网络线以及所有相关的电子器材与网络器材所完成的一项任务！如果你要看 VCD 呢？那么就需要光驱、 光盘、声卡的发声等等的支持。这么说来的话，所以在『工作』的东西都是『硬件』的工作呀！对了！ Unix 』是也！怎么这么说呢？！他们这两个家伙有什么关系呀？这里就给他说一说 啰！众所皆知的， Linux 的核心是由 Linus Torvalds 在 1991 年的时候给他开发出来的，并且丢到网络上 提供大家下载，后来大家觉得这个小东西 ( Linux Kernel ) 相当的小而精巧，所以慢慢的就有相当多的朋友 投入这个小东西的研究领域里面去了！但是为什么这的小东西这么棒呢？！然而又为什么大家都可以免费 亦可取得其原始码 ( Source Code )； • 取得 GPL 授权之软件后，任何人均可进行修改原始码，以符合自己的喜好； • 除此之外，经过修改的 Source Code 应回报给网络社会，提供大家来参考！ 但请特别留意，并非挂上 GPL 之后的软件就不可贩卖，这个是不同的两回事呦！举个例子来说，在 Red Hat 的官方网站上面提供 Red Hat 释出的 Linux 安装光盘提供大众下载，但是

业界智能运维发展趋势 新的问题 运维人数不变，管理机器数翻倍 1 2  3 4 正在消失的运维 运维从业者减少，运维专家匮乏 运维平台日趋复杂，缺乏统一规划 公司内部监控/运维系统繁多，形成数据孤岛 网络拓扑日益复杂，资源云化，虚拟资 源频繁弹性伸缩。不可靠的CMDB 过去1:n → 现在1:10? 越来越复杂的应用拓扑 消息服务器 发消息 应用D 应用E 收消息 收消息 收消息 数据库 日志处理架构 大规模实时监控平台V3.0 产品规划 大规模实时监控平台V3.0 故障预测、容量预测、性能预测 预测分类： 预测算法： 重点关注： LSTM、多元线性回归、决策树、随机森 林、神经网络、朴素贝叶斯分类、最小二乘 法、支持向量机 … 算法匹配度评分 日历适配、基于节假日的机器学习算法 Kpi自动分类并匹配预测算法 基于业务关联关系的预测算法 预测 大规模实时监控平台V3 indicating a same service> APM性能优化 • 使用二进制格式(thrift协议) • 用常量表替换重复的API信息，SQL语句和字符串 • 处理大量请求的采样 • 使用异步数据传输来最小化应用线程中止 • 使用UDP协议传输数据 • 使用变长编码和格式优化数据记录（thrift CompactProtocol） 经过数论压测计算Agent端会有3%的性能损失