Golang主动式内存缓存的优化探索之路 安晏伯 学而思网校 技术专家 目 录 问题引入 01 难点攻克 02 主动式内存缓存框架 03 总结 04 问题引入 第一部分 为什么能有极致的性能？ 01. 如何优化？ 解决了哪些技术难题？ 主动式内存缓存 如何优化？ 极致的性能 除了网络IO，与Redis有什么区别？ 复杂的查询怎么办？ 02. 传统的Cache很难 支持灵活的信息过滤条件 内存不够用怎么办？ 03. 冷热可交换、策略可定制、内存可扩展，多种冷数据淘汰组件，自由组合 存储扩展，冷热数据交换 可自定义冷热数据交换策略 还能提供什么帮助？ 04. 降低硬件成本，降低依赖，保证稳定性 同样的性能，需要更少的硬件资源，降低成本 01 核心数据在本地，依赖少，更稳定 02 • 千万级内存对象，GC严重耗时，如何解决？ • 复杂的查询场景，内存数据如何高效组织？ 复杂的查询场景，内存数据如何高效组织？ • 主动式内存缓存，如何保证数据实时性？ • 数据太多，内存不够用，如何进行存储扩展？ 通过本次分享，可以带来哪些收获？ 难点攻克 第二部分 使用内存缓存 数据一致性如何保证？ 一致性 01. 缓存如何保证更新，如何与数据库同步 同步、更新  被动方式  缓存过期  定期同步  主动方式  监听数据变化 数据加载，更新 02. 全量数据加载，增量数据监听

基于静态分析的Rust内存安全缺陷检测研究 报告人：徐辉 报告日期：2022.11.25 复旦大学 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 Rust语言 ❑ 系统级安全编程语言 ▪ 内存安全 ▪ 并发安全 ▪ 效率 2006年 2011年 Mozilla裁员Servo团队 AWS, Huawei, Google, Microsoft, Mozilla… Rust如何保障内存安全？ ❑ 内存安全问题产生的主要原因之一是指针别名导致悬空指针 ▪ 手动释放内存或调用析构函数 ▪ 函数返回时发生的自动析构或内存释放 ❑ Rust设计的目标之一是编译时检查指针别名（共享可变引用） ▪ 但一般意义上的指针分析是NP-hard问题 ▪ 智能指针可行，但作为运行时方案，效率低 Unsafe API call Unsafe API access call Rust实际表现如何？ ❑ 调研了2020年12月31日前报告的185个内存安全漏洞[TOSEM'21] ▪ Rust在内存安全防护方面效果不错 ▪ 所有的漏洞（除了1个编译器漏洞）都需要unsafe code ▪ 大部分CVEs都是 API soundness的问题（未在可执行程序中发现）

大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 应用与开发 Java 内存模型与分配机制 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 September 30, 2018 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 学习目标 1. 理解 JVM 内存模型，掌握 JVM 内存构成 2. 理解 程序的运行过程，学会通过调试模式观察内存的 变化 3. 了解 Java 内存管理，认识垃圾回收 4. 建立编程时高效利用内存、避免内存溢出的理念 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 ���� Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 虚拟机（Java Virtual Machine, JVM） ▶ Java 程序运行在 JVM 上，JVM 是程序与操作系统之间的桥梁。 ▶ JVM 实现了 Java 的平台无关性。 ▶ JVM 是内存分配的前提。 类装载子系统 Class文件

4.1.2. 扩展策略 2.4.2. 使用 Web 控制台创建 pod 横向自动扩展 2.4.3. 使用 CLI 根据 CPU 使用率创建 pod 横向自动扩展 2.4.4. 使用 CLI 根据内存使用率创建 pod 横向自动扩展对象 2.4.5. 使用 CLI 了解 pod 横向自动扩展状态条件 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 2.4.6. 其他资源 查看和列出 OPENSHIFT CONTAINER PLATFORM 集群中的节点 5.1.1. 关于列出集群中的所有节点 5.1.2. 列出集群中某一节点上的 pod 5.1.3. 查看节点上的内存和 CPU 用量统计 5.2. 操作节点 5.2.1. 了解如何撤离节点上的 pod 5.2.2. 了解如何更新节点上的标签 5.2.3. 了解如何将节点标记为不可调度或可以调度 5.2.4. 9.1. 为节点保留 CPU 5.10. 机器配置守护进程指标 5.10.1. 机器配置守护进程指标 第 第 6 章 章 操作容器 操作容器 6.1. 了解容器 关于容器和 RHEL 内核内存 6.2. 在部署 POD 前使用初始容器来执行任务 6.2.1. 了解初始容器 6.2.2. 创建初始容器 6.3. 使用卷来持久保留容器数据 6.3.1. 了解卷 6.3.2. 使用 OpenShift

4.1.2. 扩展策略 2.4.2. 使用 Web 控制台创建 pod 横向自动扩展 2.4.3. 使用 CLI 根据 CPU 使用率创建 pod 横向自动扩展 2.4.4. 使用 CLI 根据内存使用率创建 pod 横向自动扩展对象 2.4.5. 使用 CLI 了解 pod 横向自动扩展状态条件 2.4.5.1. 使用 CLI 查看 pod 横向自动扩展状态条件 2.4.6. 其他资源 查看和列出 OPENSHIFT CONTAINER PLATFORM 集群中的节点 5.1.1. 关于列出集群中的所有节点 5.1.2. 列出集群中某一节点上的 pod 5.1.3. 查看节点上的内存和 CPU 用量统计 5.2. 操作节点 5.2.1. 了解如何撤离节点上的 pod 5.2.2. 了解如何更新节点上的标签 5.2.3. 了解如何将节点标记为不可调度或可以调度 5.2.4. OpenShift Container Platform 基础架构组件 5.14.1.1. 创建基础架构节点 第 第 6 章 章 操作容器 操作容器 6.1. 了解容器 关于容器和 RHEL 内核内存 6.2. 在部署 POD 前使用初始容器来执行任务 6.2.1. 了解初始容器 6.2.2. 创建初始容器 6.3. 使用卷来持久保留容器数据 192 194 194 194 195 199

一操作系统支持多设备，应用一次开发覆盖全场景。 openEuler 对 Linux Kernel 的持续贡献 openEuler 内核研发团队持续贡献 Linux Kernel 上游社区，回馈主要集中在：芯片架构、ACPI、内存管理、文件系统、 Media、内核文档、针对整个内核质量加固的 bug fix 及代码重构等内容。十余年来总计向社区贡献 17,000+ 补丁。 在 Linux Kernel 5.10 和 5 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10 , 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 及抖动抑制，创新业务优先级 OOM 内存回收算法，保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于 内核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定

......................................................................................... - 265 - 内存容量 ................................................................................................ ......................................................................................... - 375 - 内存管理 ................................................................................................ .............................. - 386 - 操作系统内存参数配置 .......................................................................................... - 387 - 共享内存设置 ..........................................

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 部件名称 最小硬件要求 架构 ARM64、x86_64 内存 为了获得更好的体验，建议不小于 4GB 硬盘 为了获得更好的体验，建议不小于 20GB 若需要在嵌入式环境上安装 openEuler 操作系统，则嵌入式硬件需要满足以下兼容性和最小硬件要求。 嵌入式 部件名称 最小硬件要求 架构 ARM64、ARM32、x86_64 内存 为了获得更好的体验，建议不小于 512MB 硬盘 为了获得更好的体验，建议不小于 256MB 若需要在边缘设备环境上安装 openEuler 操作系统，则边缘设备硬件需要满足以下兼容性和最小硬件要求。 边缘设备 部件名称 最小硬件要求 架构 ARM64、x86_64 内存 为了获得更好的体验，建议不小于 4GB 硬盘 为了获得更好的体验，建议不小于 20GB openEuler 安装时，应注意虚拟机的兼容性问题，当前已测试可以兼容的虚拟机及组件列表如下： •

.........................................................................................6 第三章 操作内存................................................................................................... .........................................................................................16 3.3 操作内存................................................................................................... ....................................................................................21 3.5 关于保护模式中内存操作的一点说明.................................................................22 3.6 堆栈.................

史上的标志性的事件。 2021 年 3 月 31 日，openEuler 21.03 创新版如期而至，该版本不仅将内核切换到 Linux Kernel 5.10, 还在内核方向实 现内核热升级、内存分层扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 openEuler 作为一个发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的操作系统。 openEuler 03 22.09 23.03 openEuler 对 Linux Kernel 的持续贡献 华为作为 Linux Kernel 的主要贡献团队，对于内核的贡献主要集中在：ARM64 架构、ACPI、内存管理、文件系统、 Media、内核文档、针对整个内核质量加固的 bug fix 及代码重构的内容。十余年来总计向社区贡献 13000+ 补丁。 在 Linux Kernel 5.10 版本中， 芯片、外设驱动 Linux Kernel 5.10 计算 架构 进程 管理 驱动 框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新： • Linux Kernel 5.10 ：调度、IO、内存管理深度优化。 • 内存分层扩展 etMem：支持多种内存、存储介质统一管理，系统容量平滑扩展。 • 内核热升级：内核漏洞快速修复，业务不感知。 构筑云化基座：