Cilium的网络加速秘诀
蓝维洲 2021.10.16 cilium的网络加速秘诀 蓝维洲 网络组研发负责人 演讲人 cilium介绍 https://cilium.io https://github.com/cilium cilium是 kubernetes 的 CNI 网络解决方案,创新采用了 eBPF datapath,为 kubernetes网络和 linux 社区的 eBPF 发展,启动了 最要的推动作用。 �������������� ��������������������� �������������������� ���������������� ������������������������ Cilium加速网络 性能提升的主要表现: • 不同场景下,不同程度地降低了 网络数据包的“转发延时” • 不同场景下,不同程度地提升了 网络数据包的“吞吐量” • 不同场景下,不同程度地降低了 转发数据包所需的“ 处实现数据包的转发、负载均衡、过滤 • cgroup_sock_addr 。cilium在 cgroup 中实现对service解析 • sock_ops + sk_msg。记录本地应用之间通信的socket,实现本地数据包的加速转发 加速同节点pod间通信 cilium 使用 eBPF 程序,借助 bpf_redirect() 或 bpf_redirect_peer() 等 helper 函数,快速帮助同宿主机间 的流量转发,节省了大量的内核协议栈0 码力 | 14 页 | 11.97 MB | 1 年前3openEuler 23.09 技术白皮书
史上的标志性事件。 2021 年 3 月 31 日,发布 openEuler 21.03 内核创新版,该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性,加速提升多核性能,构筑千核运算能力。 2021 年 9 月 30 日,全新 openEuler 21.09 创新版如期而至,这是欧拉全新发布后的第一个社区版本,实现了全场景 支持。增强服务器和云计算的特性,发布面向云原生的业务混部 05 openEuler 23.09 技术白皮书 openEuler 是覆盖全场景的创新平台,在引领内核创新,夯实云化基座的基础上,面向计算架构互联总线、存储介质 发展新趋势,创新分布式、实时加速引擎和基础服务,结合边缘、嵌入式领域竞争力探索,打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 23.09 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本,统一基于 在后摩尔时代,GPU、TPU 和 FPGA 等专用异构加速器设备正不断涌现,它们与 CPU 类似,需要将数据放在本地内存(例 如 LPDDR 或 HBM)中以提高计算速度。加速器厂商们也不可避免地需要开发复杂的内存管理系统。 现行加速器内存管理方案存在诸多缺陷: • CPU 侧内存管理与加速器侧分离,数据显式搬移,加速器内存管理的易用性和性能难以平衡。 • 大模型场景下加速器设备 HBM 内存(Hign BandWidth0 码力 | 52 页 | 5.25 MB | 1 年前3openEuler 22.03 LTS SP2 技术白皮书
史上的标志性事件。 2021 年 3 月 31 日,发布 openEuler 21.03 内核创新版,该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性,加速提升多核性能,构筑千核运算能力。 2021 年 9 月 30 日,全新 openEuler 21.09 创新版如期而至,这是 openEuler 全新发布后的第一个社区版本,实现了 全场景支持。 22.03 LTS SP2 技术白皮书 平台架构 openEuler 是覆盖全场景的创新平台,在引领内核创新,夯实云化基座的基础上,面向计算架构互联总线、存储介质 发展新趋势,创新分布式、实时加速引擎和基础服务,结合边缘、嵌入式领域竞争力探索,打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 22.03 LTS SP2 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本,统一基于 2017 等基准测试中性能大幅优于上游社区的 GCC 10.3 版本。 • 支持 mcmodel=medium、fp-model、四精度浮点、矢量化数学库等功能。 • 支持自动反馈优化特性,实现应用层 MySQL 数据库等场景性能大幅提升。 • 多版本 GCC 共存支持:提供以 GCC 12.2.0 为基线的 gcc-toolset-12 系列软件包,支持 Intel SPR 相关特性。 •0 码力 | 48 页 | 5.62 MB | 1 年前3openEuler 24.03 LTS 技术白皮书
史上的标志性事件。 2021 年 3 月 31 日,发布 openEuler 21.03 内核创新版,该版本将内核升级到 5.10, 并在内核方向实现内核热升级、内存分级 扩展等多个创新特性,加速提升多核性能,构筑千核运算能力。 2021年 9 月 30 日,全新openEuler 21.09创新版如期而至,这是openEuler全新发布后的第一个社区版本,实现了全场景支持。 增强服务器 openEuler 24.03 LTS 技术白皮书 openEuler 是覆盖全场景的创新平台,在引领内核创新,夯实云化基座的基础上,面向计算架构互联总线、存储介质发展新趋势, 创新分布式、实时加速引擎和基础服务,结合边缘、嵌入式领域竞争力探索,打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本,统一基于 选择。基于 openEuler 的 AI 容器镜像可以解决开发运行环境部署门槛高的问题,用 户根据自身需求选择对应的容器镜像即可一键部署,三类容器镜像的应用场景如下。 • SDK 镜像:提供对应硬件的计算加速工具包和开发环境,用户可进行 Ascend CANN 或 NVIDIA CUDA 等应用的开发和调试。同时, 可在该类容器中运行高性能计算任务,例如大规模数据处理、并行计算等。 • AI 框架镜像:用户可直接在该类容器中进行0 码力 | 45 页 | 6.18 MB | 1 年前3openEuler 22.03-LTS 技术白皮书
上的标志性事件。 2021 年 3 月 31 日,发布 openEuler 21.03 内核创新版,该版本将内核升级到 5.10 , 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性,加速提升多核性能,构筑千核运算能力。 2021 年 9 月 30 日,全新 openEuler 21.09 创新版如期而至,这是欧拉全新发布后的第一个社区版本,实现了全场景 支持。增强服务器和云计算的特性,发布面向云原生的业务混部 openEuler 22.03-LTS 技术白皮书 04 系统框架 openEuler 是覆盖全场景的创新平台,在引领内核创新,夯实云化基座的基础上,面向计算架构互联总线、存储介质发 展新趋势,创新分布式、实时加速引擎和基础服务,结合边缘、嵌入式领域竞争力探索,打造全场景协同的面向数字基础设 施的开源操作系统。 openEuler 22.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本,统一基于 ,提升性能。 • 内核动态抢占:新增启动选 preempt=none/voluntary/full,允许内核动态切换抢占模式。 • mremap 性能优化:通过移动 PMD/PUD 级别的表项,加速映射大块内存的速度。 • per memcg lru lock:采用 per memcg lru_lock,减少云原生容器实例锁竞争,提升系统性能。 • 大页内存管理优化:通过共享映射方式将 HugeTLB0 码力 | 17 页 | 6.52 MB | 1 年前3openEuler 21.09 技术白皮书
史上的标志性事件。 2021 年 3 月 31 日,发布 openEuler 21.03 内核创新版,该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性,加速提升多核性能,构筑千核运算能力。 2021年 9 月 30 日,全新openEuler 21.09创新版如期而至,这是欧拉全新发布后的第一个社区版本,实现了全场景支持。 增强服务器和云计算的特性,发布面向云原生的业务混部 openEuler 21.09 技术白皮书 05 系统框架 openEuler 是覆盖全场景的创新平台,在引领内核创新,夯实云化基座的基础上,面向计算架构互联总线、存储介质 发展新趋势,创新分布式、实时加速引擎和基础服务,结合边缘、嵌入式领域竞争力探索,打造全场景协同的面向数字基础 设施的开源操作系统。 引领内核创新 云原生调度增强:针对云场景在线和离线业务混合部署场景,创新 CPU 调度算法保障在线业务对 总线 服务器套件 云原生套件 分布式套件 虚拟化/容器 边云协同套件 嵌入式套件 机密计算服务 欧拉 DevKit … 实时加速框架 机密计算框架 … Linux Kernel 实时内核 安全内核 … 场 景 使 能 层 基 础 服 务 层 内 核 openEuler 21.09 技术白皮书 06 平台框架 openEuler 社区与上下游生态建立连接,构建多样性的社区合作伙伴和协作模式,共同推进版本演进。0 码力 | 35 页 | 3.72 MB | 1 年前3openEuler 22.09 技术白皮书
史上的标志性事件。 2021 年 3 月 31 日,发布 openEuler 21.03 内核创新版,该版本将内核升级到 5.10, 还在内核方向实现内核热升级、内存 分级扩展等多个创新特性,加速提升多核性能,构筑千核运算能力。 2021 年 9 月 30 日,全新 openEuler 21.09 创新版如期而至,这是欧拉全新发布后的第一个社区版本,实现了全场景支持。 增强服务器和云计算的特性,发布面向云原生的业务混部 openEuler 22.09 技术白皮书 04 系统框架 openEuler 是覆盖全场景的创新平台,在引领内核创新,夯实云化基座的基础上,面向计算架构互联总线、存储介质发展 新趋势,创新分布式、实时加速引擎和基础服务,结合边缘、嵌入式领域竞争力探索,打造全场景协同的面向数字基础设施的开 源操作系统。 openEuler 22.09 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本,统一基于 驱动框架:为 Linux 提供了 Rust 相关的基础设施和方便编写 Linux 驱动的框架。 • 支持程序代码段大页特性:可以减少 TLB Miss,提升应用性能。 • 支持 SM3/SM4 等商密算法加速。 • 模块签名支持商密算法。 可编程内核 基于 eBPF 的可编程调度框架,支持内核调度器动态扩展调度策略,以满足不同负载的性能需求,具备以下特点: 1. 标签管理机制,开放对任务和任务组0 码力 | 13 页 | 1.39 MB | 1 年前3Debian 参考手册(版本 2.109)
顶层“Release”文件及真实性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.5.3 档案库层的“Release”文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 Debian 号。 – ”Components:” 章节定义 Debian 档案库中有效档案库名称列表。 如果只是用 aptitude,它不访问源代码相关的元数据,“deb-src”定义可以安全地省略。这可以加速档案库元数 据的更新。 The URL can be ”https://”, ”http://”, ”ftp://”, ”file://”, …. ”#” 开头的行是注释,被忽略。 这里,我倾 手工验证”Release” 的完整性,使用”Release.gpg” 文件和在 ftp-master.debian.org 上公布的 Debian 档案库公钥。 2.5.3 档案库层的“Release”文件 提示 档案库层的“Release”文件将用作 apt_preferences(5) 的规则。 归档层次的”Release” 文件,其全部归档位置在 源列表中指定,如以下的”http://deb0 码力 | 261 页 | 1.39 MB | 1 年前3openEuler 21.03 技术白皮书
2021 年 3 月 31 日,openEuler 21.03 创新版如期而至,该版本不仅将内核切换到 Linux Kernel 5.10, 还在内核方向实 现内核热升级、内存分层扩展等多个创新特性,加速提升多核性能,构筑千核运算能力。 openEuler 作为一个发行版平台,每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的操作系统。 openEuler 也是一个技术孵化 openEuler 支持以 Intel/ 兆芯为代表的 X86 架构,以鲲鹏、飞腾为代表的 ARM 架构,同时发布了 RISC-V 的体验版本。 openEuler 希望与广大用户和开发者一起加速完善多样化算力的生态和性能体验。 openEuler 希望把工作负载和最合适的算力单元进行匹配,通过软件优化提升并行处理能力,高效的释放多样性算力。 openEuler 版本管理 openEuler 5.9 5.10 4 5 openEuler 21.03 技术白皮书 openEuler WHITE PAPER 系统框架 openEuler 操作系统使用场景主要是服务器,包括基础加速库、虚拟化、内核、驱动、编译器、系统工具、OpenJDK 等组件。 创新架构,全栈优化,打造全场景协同的 One OS,充分释放多样性算力。 IDE 自调优工具 A-Tune 测试平台 Compass-CI0 码力 | 18 页 | 1.30 MB | 1 年前3Ubuntu 桌面培训 2010
Ubuntu 软件仓库提供的所有软件。 2.5 桌面效果—— Compiz Fusion 教员注记: 提醒学生,要使用桌面效果的话,显卡必须支持 3D 加速。 Compiz Fusion 是一个 3D 窗口管理器。它需要支持 3D 加速的显卡。现在绝大部分 的桌面电脑和笔记本的显卡都支持。它提供了许多的视觉效果,使 Linux 桌面更加强 大﹑直观﹑易用和有趣。比如,您可以把桌面变成一个立方体,快速地在不同工作区 复习题 问连接到互联网的三种主要方式分别是什么? 答这三种主要方式分别是通过电缆、无线和拨号接入。 问为什么需要在 Firefox 中使用书签? 答 Mozilla Firefox 使用书签来加速访问已保存的网页地址。 112 上机练习 目录 Karmic Koala 问什么是 Feed? 答 Feed 是一个 XML 页面,包含了到其他网页的链接列表。 问连线题: 1) Evolution 如果您选择了置于底层选项,结果如下图所示。 图 4.78 将对象置于底层 教员注记: 如果时间允许,让学生们探索排序菜单的其他选项,解释每个选项的适用环境。尤 其要讲解在对象之后这个选项以及下移一层和在对象之后的区别。这项教学的优先 级不高。 194 使用 OpenOffice.org 图画 目录 Karmic Koala 复刻对象有时您需要创建同样形状和尺寸的多个对象。在 Draw 中,您可以复刻或多0 码力 | 524 页 | 57.54 MB | 1 年前3
共 104 条
- 1
- 2
- 3
- 4
- 5
- 6
- 11