IPC性能极致优化方案-RPAL落地实践 谢正尧 字节跳动 研发工程师 目 录 方案诞生的背景 01 全进程地址空间共享与保护 02 用户态进程切换 03 高效的Go Event Poller 04 RPC框架Kitex集成 05 性能收益与业务展望 06 方案诞生的背景 第一部分 方案诞生的背景 几种常见的同机通信场景： 1. 微服务合并部署（亲和性部署、sidecar

速度快 聚焦 极致 可信赖 • 崔英杰 Go的持续集成 实践分享 简单 激情 速度快 聚焦 极致 可信赖 什么是持续集成 持续集成 是一种软件开发实践。在持续集 成中，团队成员频繁集成他们的工作成果， 一般每人每天至少集成一次，也可以多次。 每次集成会经过自动构建（包括自动测试） 的 检验，以尽快发现集成错误。 — Martin Fowler 简单 激情 速度快 聚焦 极致 可信赖 持续集成的好处 4. 减少代码审核时间 5. 减少对个体依赖 简单 激情 速度快 聚焦 极致 可信赖 石器时代 简单 激情 速度快 聚焦 极致 可信赖 分享惨案经历 1. 无单元测试，手工集成测试 2. 测试用例300多个，需要一个星期 3. 面对业务压力，规则形同虚设 4. 深夜事故 简单 激情 速度快 聚焦 极致 可信赖 原有开发体系的问题 1. 迭代周期漫长 2. 质量缺乏保障 3 系统可维护性差 4. 开发过程透明度差 简单 激情 速度快 聚焦 极致 可信赖 青铜时代 简单 激情 速度快 聚焦 极致 可信赖 迈出第一步 1. 重构 2. 添加单元测试 3. 自动化测试系统 简单 激情 速度快 聚焦 极致 可信赖 青铜时代 通知测试 Email测试报告 简单 激情 速度快 聚焦 极致 可信赖 还有问题 1. 自动化测试不能并行 2. 开发过程透明度无改善

Serverless：关注应用而非基础设施 敏捷开发 极致弹性 成本优化 • 无需购买和安装机器 • 无需管理服务器 • 无需升级和更新OS • 快速部署和更新应用 • 快速发布 • “无限”容量 • 秒级弹性 • 更好的扩展性 • 更好的灵活性 • 按需创建 • 无资源闲置 Serverless容器 敏捷开发 极致弹性 成本优化 容器 Build once, Run anywhere Kernel containerd ACK on ECI • ECS + ECI混合部署：将long run应用运行在ECS上， 弹性和任务应用运行在ECI上。 • “无限”容量 • 极致弹性 • ECI 和 ECS Pod之间 互联互通（支持ClusterIP） ACK 集群 Pod Pod ECS Pod Pod Pod Pod ECI ECI ECI ECI ECI Pod Pod Pod Pod Pod Pod Pod ECS OS ASK: Serverless Kubernetes • Nodeless：简单易用，无节点管理，运维成本低 • 极致弹性: 30s 500 pod • 成本优化：按需创建，支持spot和预留实例劵 • Kubernetes兼容性： deployment/statfulset/job/service/ingress/CRD

不同的行星提供各具特色的生态: 硬实时(实时操作系统), 信息安全 (TEE)，极致性能(裸金属)，混合关键性(嵌入式虚拟化） openEuler Embedded Linux Kernel 软件包 基础设施 社区 生态 …… 多样化的非Linux行星 实时操作系统 （硬实时) 裸金属 (极致性能) 嵌入式虚拟机 (隔离与调度) 可信执行环境 （信息安全) 弹性融合底座 Scale • 特点：异构多核，多种运 行时协同工作 • 不足：软件栈结构复杂 在不同模式下，openEuler Embedded始终是中心，提供富功能、富管理、富生态 混合关键系统：单节点极致“异构” 算力，多种OS/runtime共同部署， 各尽其才，充分利用硬件资源 弹性融合底座 实例0 实例2 实例3 实例4 实例1 RTOS1 Baremetal RTOS2 RTOS3 168MHz ✓ 上下文切换：<3us ✓ 任务抢占：<3us ✓ 信号量混洗：<7us ✓ 死锁解除：<9us ✓ 消息传递延迟：<4us ✓ 中断延迟：<2us 支持基于优先级的抢占和极致的任务抢占和中 断延迟，支持裁剪至百KB级别。 性能规格如下(不同功能情况下，性能会有不同)： 集成开发环境 yocto构建 编译器 VSCode插件 CI 上海海思 ARM 飞腾

Apache APISIX 机会：轻巧 + 极致性能 + 热插件 宣布开源 CNCF ⾸首个商业⽤用户 ⽣生产⽤用户上线 捐赠 Apache 全平台⽀支持 6.6 8⽉月 10 ⽉月 7⽉月 9⽉月 今天 Apache APISIX 第⼀一⾏行行代码 4⽉月 Apache APISIX ⾃自豪 • 核⼼心代码量量，3892 ⾏行行 • 极致的动态转发性能 • 平均请求延迟： 路路由⾃自身也是插件 Apache APISIX ⾃自豪 • ⽀支持 ARM64 • 完整⽀支持 IPv6 • 物联⽹网 MQTT 协议 • 基于 OpenResty / Tengine • 极致性能 jsonschema • ASF 第⼀一个 API ⽹网关项⽬目 微服务 API ⽹网关部署 client API Gateway Service Service Service

安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难实现多维度的查询，无法具备像SQL一样的灵活的查询模式 • 尽可能将业务数据存放在内存中，做好冷热数据交换 • 主动监听数据的变化，并实时更新内存中的缓存数据 • 具备极高的性能，保障业务的快速响应 • 依赖方不可用时，提供有损服务 心得感悟 极致的性能 01. 请求到响应只需要内存中的操作即可完成，因此具备极高的性能 用户请求 请求 内存检索 逻辑处理 快速响应 响应 1000万业务数据，10个pod，4核心16G内存，QPS均值12W

虚拟化能力，支持更广泛的南向生态，提供更好的时延优化。 • 硬实时（UniProton）中间件：提供丰富的 POSIX 接口支持和常用中间件，方便用户应 用开发和迁移。 • 泛工业泛嵌入式通用接口：围绕 RTOS 领域极致性能场景，定义高性能 API，为北向应用提供统一的接口。 • 行业安全认证：联合伙伴逐步支持面向行业安全认证，如面向 IEC61508、CC EAL 等。 12 openEuler 22.03 适用于提升网络协议栈成为性能瓶颈点的应用提升业务处理性能。 应用场景 gazelle 功能架构图： 功能描述 • 高性能（超轻量）：基于 dpdk、lwip 实现高性能轻量协议栈能力。 • 极致性能：基于区域大页划分、动态绑核、全路径零拷贝等技术，实现高线性度并发协议栈。 • 硬件加速：支持 TSO/CSUM/GRO 等硬件卸载，打通软硬件垂直加速路径。 • 通用性（posix 兼容）：接口完全兼容 posix兼容(epoll/socket api/reuse port/...) 即插即用 (LD PRELOAD) 灵活配置 (绑核策略、大页规格、dpdk配置/..) 硬件卸载 (TSO/CSUM/GRO/..) 自适应调度 极致性能 轻量级协议栈 ltran(协议栈分发管理) lwip kni udp单播 udp组播 …… …… fd路由器 网卡多队列 软/硬转发横型 网卡报文收发 开源依赖特性 Istack管理

维难度 • 按实际调用量进行自动的容量扩缩 • 专注业务逻辑开发，无须关心基础设施 • 只需要将视频存入存储，接入极其简单，达到极致业务体验 • 按需加载资源，使用时调度，不使用时自动回收，达到极致 成本的体验。 • 并行执行，可以同时出产不同维度业务结果，达到极致性能 体验。比如上图，同时从不同维度进行业务处理。 • 减少了传统微服务体系中容量规划和服务治理的负担，专注 于业务本身。 • 可以

Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential janm 格式 行列混存（PAX） 为极致的数据计算而设计和优化 解析性能极致 (vs Parquet, etc) @2024 OpenPie. All rights reserved. OpenPie Confidential JANM： 大数据计算系

B2B2C 产品 1.1 SaaS 产品的特点 - 产品定位 - 稳定性影响 - 稳定性承诺 SaaS 2B 和 2C 的差异 国内 SaaS 和国际 SaaS 的技术规划的差异 - 专注和极致 - 规范和标准 - 安全合规 - 全球化 1.2 API 的重要性 API 也是产品的一部分，而不仅仅是技术。对于 SaaS 产品，提供 API 服务几乎是与企业级用户合作的必须项，特别是在海外。 虑以 3 个月为周 期发布版本，每个版本保留 12 个月，那我们同时最多只需要维护 4 个版 本的 API。 4. 建议在应用层实现 Versioning，不建议在能力层实现。虽然可以做到非 常极致，但是业务复杂后维护成本将相当可怕，我们必须做取舍。