TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod，应用对Pod ip变化 无感知 • 本质是一个负载均衡器 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行，比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack，由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性，功能足够丰富 弯路 度算法丰富。 • 优势 • 完全绕过了conntrack/iptables • 对内核修改更小 04 性能测试 性能测试踩过的坑 设置测试环境 • 配置一样的cluster，性能可能不同。 • 多个CVM分布在同一台物理主机 • 同一个cluster，在不同的时间段，性能可能不同 • cpu 超卖 • 使用同一个cluster，在相近的时间段，比较两种mode • 使得cpu成为瓶颈点

KubeBrain 字节跳动高性能 K8s 元信息存储 许辰 字节跳动资深研发工程师 许 辰 字节跳动基础架构工程师  本科和硕士毕业于北京大学计算机系  负责大规模 Kubernetes 系统的构建和优化  KubeBrain/ KubeGateway/ KubeZoo 等多个项目的发起人 • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本  减少资源碎片  提高资源利用率 Kubernetes 的架构特点 中心化架构 所有组件通过 apisever 交互 随着规模增大存储系统成为瓶颈 etcd 存在性能问题 apiserver 参数 按照对象拆分 etcd 设计新的元信息存储 … 如何解决存储瓶颈？ KubeBrain 1. 大脑 2. 谐音科比 Kobe Bryant • 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 K8s 元信息存储的需求 (1)  读 • 单 Key 读，提供线性一致性 • Range 扫描读，支持快照读，支持分页  写 • K8s 乐观锁

分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 日志关联分析 异常预警 故障回溯 软件开发服 务 DevCloud 云性能测试 CPTS PaaS IaaS 开发测试 统一编排 自动化部署、微服务注册发现与治理、中间件运行环境 智能运维 开放网关APIG 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 • 支持多种存储：云硬盘、对象存储、文件存储 • 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kuber 第三方模板&镜像部署 K8S Helm/Docker Hub 第三方服务&工具 Kafka/Nginx/APM/Monitor 优势： 9 国内首发裸金属容器：为“高性能场景”量身打造 10 裸金属容器集群VS虚拟机容器集群 的性能对比 29880 29791 29022 15301 14706 14241 0 5000 10000 15000 20000 25000 30000

头厂商在全球化布局基础上，纷纷调整发展重心，并聚焦热点区域、 热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 为例，其在印度、新加坡、澳大利亚、日韩等地 已建设 40 余个可用区，并计划在东南亚、新西兰等地再新建 12 个 可用区，建成之后亚太地区的可用区占全球比例将超 50%。 服务能力方面，效率和性能成为云服务商竞争的新手段。随着 用云程度持续加深，用户对云服务的要求从能用转变为好用，促使 云服务商更加关注优质云能力的供给。一是更注重敏捷迭代，提升 效率。用户对加速创新，缩短研发周期，提高迭代效率的需求日益 三大生态充分打通，形成完整的技术生态。 二是更注重软硬协同，优化性能。在算力多样化、节点高密化、载 体细粒度化等诉求下，底层硬件在云计算的驱动下也因云而变。2022 年 6 月，阿里云发布 CIPU（Cloud infrastructure Processing Units，云 基础设施处理器），其是一套全新的计算架构体系，能够在通用计算、 大数据、人工智能等场景中展现更好的性能。2022 年 12 月，AWS 云计算白皮书（2023

存储 17 参考文档 18 版权 © 2023 DaoCloud 第 3 页 简介 DaoCloud Enterprise 5.0（DCE 5.0）是一款高性能、可扩展的云原生操作系统。 它能够在任何基础设施和任意环境中提供一致、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 提供非侵入式流量治理功能，支持无感接入传统微服务、云原生微服务和开源微服务 框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 DaoCloud 第 8 页 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储

磁盘同等IO能力 ， 可以把整个集群像Docker 一样打包，一键交付 ， 有轻量化、超高性能、极易管 理等特点 自研 负载均衡器， 可支撑超大规模数万节点 集群运行 ，运行速度全球领先，毫秒级发布 更高稳定性 实现安全隔离 轻量化 数万节点集群运行 运行速度 全球领先 超高性能 极易管理 使用场景 私有云 完全 离线 公有云 注册 使用 自助 服务 一键 构建 3min，而 sealos 只需要 30s，不能 怪 terraform 某些底层 driver 写的不好 云驱动层 01 对接 firecracker cilium openebs 等技术 无性能损失的网络层计量 与隔离 rust 自研分布式文件系统 sealfs 直接对接 rustvmm 绕 开 fuse 02 client manger manger metadata data Heartbeat metabata Heartbeat metabata data 存储 openebs localPV Why: 1. 获得裸机磁盘性能 2. 多租户之间可以通过块进行隔离 3. 简单，非常轻量 4. 可通过 lvm 条带化增加性能 5. 非常适合给数据库这样用 缺陷: 1. 不在磁盘级别提供高可用 所以高可用交给 KB rocketmq 这些应用自身去解决 业务起的有状态容器可用

插件+控制器），面向所有场景： 高性能互联网业务、离线业务、在线离线混合场景、传统有状态服务、公有云… 性能 22190 7261 16462 4861 17442 5548 21461 6828 0 5000 10000 15000 20000 25000 TCP_RR(r/s) TCP_CRR(r/s) Overlay方案性能 host vxlan ipip 8368 22127 7675 21007 7231 0 5000 10000 15000 20000 25000 TCP_RR(64) TCP_CRR(64) Underlay方案性能 Host Bridge NAT IPIP+Gateway混合Overlay方案 •短链接IPIP包量比Vxlan多14.1% •Gateway比Vxlan多40.5% •方案被Flannel社区合并 •方案被Flannel社区合并 Underlay方案 • Bridge方式仅比Host差6%，一般 overlay比Host差20~40% • SRIOV方式比Bridge CPU下降38.3%， 包量+6% 性能 Docker、Docket、Gaiastack P2P Agent下载镜像对比 Registry与P2P Agent流量占比对比 • 镜像下载引入BT协议 • 对Docker Daemon零入侵

自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 小型设备上运行大语言模型，特别是在边缘设备和资源受限的环境中。我们还提到有望提高性能的 ReAct 提示 工程，以及利用大语言模型驱动的自主代理开发远超简单的问答交互的动态应用。我们也提到一些向量数据库 （包括 Pinecone）由于大语言模型而重新流行起来。大语言模型的底层能力，包括更专业化和自行托管的能力， 过创建拉取请求（PR）来更新依赖项。不过，团队仍然需要制定工程纪律，以确保及时处理这些 PR，尤其是 对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试，还包括有功能和性能测试，并且构建流水线必 须运行所有这些测试以及安全扫描，我们更提倡自动合并依赖项更新 PR。 简而言之，团队必须完全相信，流水 线运行成功后，软件就可以投入生产。在这种情况下，依赖项更新 PR，即使它们在间接依赖项中包含主要版本 组件并不容易。已经出现了一些框架来简化这一过程，甚至一些框架中还使用了浏览器引 擎，但复杂性仍然存在。比开发人员体验更糟糕的是用户体验：当必须在浏览器中加载和构建自定义 Web 组件 时，页面加载性能会受到影响，即使在预渲染和精心调整组件的情况下，也几乎无法避免“无样式内容闪烁” 或某些布局变化。放弃使用 Web 组件的决定可能会产生深远的影响，正如我们的一个团队曾经不得不将其基于 Web