腾讯云 Kubernetes 高性能网络技术揭秘——使用 eBPF 增强 IPVS 优化 K8s 网络性能-范建明
TKE使用eBPF优化 k8s service Jianmingfan 腾讯云 目录 01 Service的现状及问题 优化的方法 02 和业界方法的比较 性能测试 03 04 解决的BUG 未来的工作 05 06 01 Service的现状及问题 什么是k8s Service • 应用通过固定的VIP访问一组pod,应用对Pod ip变化 无感知 • 本质是一个负载均衡器 控制面和数据面算法复杂度都是O(1) • 经历了二十多年的运行,比较稳定成熟 • 支持多种调度算法 优势 IPVS mode 不足之处 • 没有绕过conntrack,由此带来了性能开销 • 在k8s的实际使用中还有一些Bug 02 优化的方法 指导思路 • 用尽量少的cpu指令处理每一个报文 • 不能独占cpu • 兼顾产品的稳定性,功能足够丰富 弯路 度算法丰富。 • 优势 • 完全绕过了conntrack/iptables • 对内核修改更小 04 性能测试 性能测试踩过的坑 设置测试环境 • 配置一样的cluster,性能可能不同。 • 多个CVM分布在同一台物理主机 • 同一个cluster,在不同的时间段,性能可能不同 • cpu 超卖 • 使用同一个cluster,在相近的时间段,比较两种mode • 使得cpu成为瓶颈点0 码力 | 27 页 | 1.19 MB | 9 月前3TiDB v8.5 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 102 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 372 4.8.4 优化向量搜索性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 462 4.10 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 5095 页 | 104.54 MB | 9 月前3TiDB v8.4 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 98 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 368 4.8.4 优化向量搜索性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 458 4.10 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 5072 页 | 104.05 MB | 9 月前3TiDB v8.2 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 82 3.4.6 HTAP 性能监控 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 391 4 4.9 优化 SQL 性能 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 394 4.9.2 SQL 性能调优 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 395 4.9.3 性能调优最佳实践 · · · · · · · · · · · · · ·0 码力 | 4987 页 | 102.91 MB | 9 月前3TiDB中文技术文档
生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 数据迁移 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control TiDB 0 RC1 1.1 Beta 1.1 Alpha 1.0 Pre-GA RC4 RC3 RC2 RC1 TiDB 路线图 性能测试 TiDB Sysbench 性能测试报告 - v1.0.0 TiDB TPC-H 50G 性能测试报告 - v2.0 TiDB Sysbench 性能对比测试报告 - v2.0.0 对比 v1.0.0 - 5 - 本文档使用 书栈(BookStack.CN) 构建 致谢 生成自签名证书 监控集群 整体监控框架概述 重要监控指标详解 组件状态 API & 监控 扩容缩容 集群扩容缩容方案 使用 Ansible 扩容缩容 升级 升级组件版本 TiDB 2.0 升级操作指南 性能调优 备份与迁移 备份与恢复 数据迁移 数据迁移概述 全量导入 增量导入 故障诊断 TiDB 周边工具 Syncer Loader TiDB-Binlog PD Control TiKV Control0 码力 | 444 页 | 4.89 MB | 5 月前3Service Mesh 发展趋势(续) 蚂蚁金服 | 骑士到中盘路向何方?
小区保安: 轻松一刻:最近流行的梗,各种灵魂拷问Part 1:ServiceMesh灵魂拷问一:要架构还是要性能? 要架构,还是要性能? 让我们来对ServiceMesh做一次灵魂拷问,首先:Istio的回答:架构优先,性能暂放一边 Part 1:ServiceMesh灵魂拷问一:要架构还是要性能? Istio 0.1 - 1.0 Mixer 0.1 - 1.0 In- process AdapterIstio AdapterIstio Control Plan 为什么Istio选择Mixer和Proxy分离的架构? Part 1:ServiceMesh灵魂拷问一:要架构还是要性能? Proxy Mixer In- Process Adapter Infrastructure Backend Proxy 优点: • 架构优雅,职责分明,边界清晰 • Mixer的变动不影响Proxy • Istio的新回答:架构继续优先,性能继续放一边 Part 1:ServiceMesh灵魂拷问一:要架构还是要性能? Istio 1.1 – 1.2 Mixer 1.1 - 1.2Istio Control Plan 为什么Istio选择Out-of-Process Adapter? Part 1:ServiceMesh灵魂拷问一:要架构还是要性能? Proxy Mixer Bypass0 码力 | 43 页 | 2.90 MB | 5 月前3Nacos架构&原理
高可用设计 100 Nacos 鉴权插件 103 Nacos 账号权限体系 103 Nacos 认证机制 110 Nacos 前端设计 117 Nacos 前端设计 117 Nacos 性能报告 122 Nacos Naming 大规模测试报告 122 Nacos ⽣态 130 Nacos Spring 生态 130 Nacos Docker & Kubernetes 生态 137 os 作为核心引擎 孵化于 2008 年的阿里五彩石项目,自主研发完全可控,经历十多年双 11 洪峰考验,沉淀了高性能、 高可用、可扩展的核心能力,2018 年开源后引起了开发者的广泛关注和大量使用。本书也将介绍 Nacos 偏 AP 分布式系统的设计、全异步事件驱动的高性能架构和面向失败设计的高可用设计理念 等。相信开发者阅读后不仅可以更深入了解 Nacos,也有助于提高分布式系统的设计研发能力。 阿里巴巴在 10 多年分布式应用架构实践过程中,产出了⼀大批非常优秀的中间件技术产品,其中软 负载领域的 Diamond、Configserver、Vipserver,无论在架构先进性、功能丰富度以及性能方面均 有非常出色的积累,2018 年初中间件团队决定把这⼀领域的技术进行重新梳理并开源,这就是本书 介绍的主角 Nacos,经过三年时间的发展,Nacos 已经被大量开发者和企业客户用于生产环境,本0 码力 | 326 页 | 12.83 MB | 9 月前3分布式NewSQL数据库TiDB
117 117 118 118 118 118 118 性能数据 性能数据 测试⼀ 同可⽤区实例 同可⽤区类型- 限制TiKV内存60G 同可⽤区类型- 限制TiKV内存30G 测试⼆ 跨可⽤区类型 同可⽤区类型 FAQ Q1:TiDB当前覆盖多少地域? Q2:每个⼩时业务要创建⼀些中间表,完成计算,然后删除掉,频繁创建和删除表对TiDB 性能影响⼤吗? Q3: slow log ⾥⾯的时间是什么时区? ⽤⼾ 备份恢复 Dashboard/监控访问 TiDB Serverless 实例 ⽤⼾ Binlog同步 TiFlash管理 备份恢复 参数配置调整 告警通知 证书管理 数据库审计 安全组 数据迁移 性能数据 概览 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 9/120 FAQ 概览 分布式NewSQL数据库 TiDB Copyright © 基于PingCAP的TiDB,实现TiDB在公有云的产品化,给⽤⼾提供两种形态产品。TiDB:按⽤⼾指定节点规格⼀键部署,灵活集群管理,接⼊⽅便的⾼性能数据;TiDB Serverless: ⽆需关⼼底层资源池、按需使⽤、接⼊⽅便的 Serverless ⾼性能数据库服务。 什么是TiDB 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 11/1200 码力 | 120 页 | 7.42 MB | 5 月前32024 中国开源开发者报告
系列凭借灵活的多尺寸选项,强大的多语言支持以及友好的模型授权功能, 赢得了社区开发者的高度评价。DeepSeek 通过引入多头潜在注意力(Multi-head Latent Attention, MLA)技术,在性能和成本上实现了革命性突破,开创高性价比的 AI 新纪元。 智谱的 CogVideoX 系列文生视频模型,成为全球首批开源的文生视频模型之一,不仅在 技术方面让中国视频生成模型列入领先梯队,强化了中国模型在全球范围的竞争力,也为国际开 组织给予减轻或免承担法律责任;《生成式人工智能服务管理暂行办法》 则明确了人工智能技 术的使用和合规要求,促进了开源模型在合规框架下良性发展。 变革 端上模型的兴起与隐私保护 随着小型模型的性能逐步增强,更多高级 AI 正转向在个人设备上运行。这一趋势不仅显著 降低了云端推理成本,还提升了用户隐私控制。 中国 AI 社区在这一领域也做了重要贡献,推出了如 Qwen2-1.5B、MiniCPM 尽管存在电池续航和内存占用过大等挑战, 端上模型代表了 AI 技术隐私保护和成本优化的未来方向。中国在这一领域的探索,为行业提供 了宝贵经验。 推理扩展法则的潜力释放 通过推理扩展法则,模型性能可通过延长“思考时间”而进一步优化。这一技术模拟了人类 “深思熟虑”的过程,显著提升了模型在逻辑推理和复杂任务中的表现。 中国开源社区在逻辑推理领域推出了许多创新项目,包括阿里巴巴国际的 Macro-o1、通义0 码力 | 111 页 | 11.44 MB | 8 月前324-云原生中间件之道-高磊
来阻止攻击,属于一种主动的态势感知和风险隔离技术手段 可以自动化的对非预计风险进行识别和风险隔离 对系统性能有一定影响 可信计算 核心目标是保证系统和应用的完整性,从而保证系统按照设计预期所规 定的安全状态。尤其是像边缘计算BOX这种安全防护,根据唯一Hash值验 证,可以实现极为简单的边云接入操作,运行态并不会影响性能。 可信根一般是一个硬件,比如CPU或者TPM,将从 它开始构建系统所有组件启动的可信启动链,比 Check&Report机制影响通信性能,并只涉及到服务 通信级别的安全,对node没有防护 Calico零信任 主要针对Node层的访问控制,可以让攻击者难以横向移动,隔离了风险 应用透明,全局管理视角,细粒度安全策略,针 对Node层面构建安全 采用IpTables,有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案, 克服了Calico SDN安全和性能方面的不足 数据一体机 存储架构 存算一体: 调整困难、只能满 足一定的吞吐量要 求 存算分离: 自动调整、拓展能 力强,满足更大吞 吐量 存储自动扩缩容 手工填加机器, 手工同步 完全自动化 高性能 存在性能瓶颈 类似日志方式的顺 序写,性能高 易用程度 封闭体系,集成各 类优秀能力较差 集成能力强,多模 态接口,兼容各类 协议 可用性、稳定性 需要强大的旁路运 维能力 简化运维、自动化 容量和故障转移 云原生数据库其特点,使得应用场0 码力 | 22 页 | 4.39 MB | 5 月前3
共 147 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15