© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush到s3上，在读场景上，能够预读1个block大小，减少顺序读对于底层s3的访问频次。从这个思路上该缓存方案主要针对的场景是顺序写和顺序 读，而对于随机写和随机读来说也会有一定性能提升，但效果可能不会太好。 元数据采用2层索引 由于chunk大小是固定的（默认64M），所以Inode中采用map读写缓存分离 读写缓存的设计采用的是读写缓存分离的方案。 写缓存一旦flush即释放，读缓存采用可设置的策略进行淘汰（默认LRU），对于小io进行block级别的预读。 即读写缓存相互没影响不相关， 缓存层级 缓存层级分为fs->file->chunk->datacache 4层，通过inodeId找到

Page 1 of 9 Curvefs-S3 本地写缓存盘方案© XXX Page 2 of 9 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 方案设计© S3模块接收到写入后先写入写内存缓存页，如果满足持久化的条件后，那么则准备持久化。 如果未配置本地硬盘作为写缓存，那么直接持久化到远端的对象存储；如果配置了本地硬盘作为写缓存，那么则尝试先写入本地硬盘写缓存目录。 写本地硬盘缓存目录之前先判断缓存目录容量是否已达到阈值，如果已经达到阈值，那么则直接写入到远端对象存储；否则，则写入到本地硬盘写缓存目录中。文件写入本地硬盘写缓存目录后，从本地硬盘读目录© XXX Page 4 of 9 做一个硬链接链接到该文件。 本次io在本地硬盘写入好之后，异步上传模块会适时把本地硬盘写缓存目录中的文件上传到远端对象存储集群，上传成功后，删除本地写缓存目录中的对应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 另外，异常管理模块处理客户端挂掉后的文件重新上传问题。 主要数据结构定义 class

本书在上一版的基础上进行了全面大量的更新，基于红帽 RHEL 8 系统编写，且内容通用于 CentOS、 Fedora 等系统。本书共分为 20 章，内容涵盖了部署 Linux 系统，常用的 Linux 命令，与文件读写操作 有关的技术，使用 Vim 编辑器编写和修改配置文件，用户身份与文件权限的设置，硬盘设备分区、格 式化以及挂载等操作，部署 RAID 磁盘阵列和 LVM，firewalld 防火墙与 iptables .......................... 326 13.5 部署缓存服务器 .................................................................................................... 330 13.6 分离解析技术 ................................... 命令，它们与系统工作、系统状态、工作目录、文件、目录、打 包压缩与搜索等主题相关。学习这些最基础的 Linux 命令，可以为今后学习更复杂的 命令和服务做好必备的知识铺垫。 ➢ 3 ：本章讲解了与文件读写操作有关的重定向技术 的 5 种模式，让读者通过实验切实理解每个重定向模式的作用，解决输出信息的保存 问题；然后深入讲解了管道命令符，帮助读者掌握命令之间的搭配使用方法，进一步 提高命令输出值的处理效率；随后通过讲解

缺少依赖导致的安装失败 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.6.2 软件包数据缓存错误 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.6.3 ^D。或者，你也可以键入”exit” 退出命令行。 如果你位于 x 终端模拟器 (1) 中，你可以使用这个关闭 x 终端模拟器窗口。 1.1.8 怎样关闭系统 就像任何其他的现代操作系统一样，Debian 会通过内存中的缓存数据进行文件操作以提高性能，因此在电源被安全地 关闭前需要适当的关机过程，通过将内存中的数据强制写入硬盘来维持文件的完整性。如果软件的电源控制可用，那 么关机过程中会自动关闭系统电源。（否则，你可能需要在关机过程之后按电源键几秒钟。） 叫它树是因为如果你画出文件系统，它看起来就像一棵树，但是它是颠倒过来的。 这些文件和目录可以分散在多个设备中。mount(8) 用于把某个设备上找到的文件系统附着到巨大的文件树上。相反 的，umount(8) 把它再次分离。在最近的 Linux 内核里，mount(8) 带某些参数时可以把文件树的一部分绑定到另外的 地方，或者可以把文件系统挂载为共享的、私有的、从设备、或不可绑定的。对每个文件系统支持的挂载选项可以

抖动抑制，创新业务优先级 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间，提 升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于内 核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可 BPF 的可移植性，即编写的程序通过编译和内核校验之后， 能正确地在不同版本的内核上运行，而无需针对不同内核重新编译。 • 内存 RAS - 高可靠内存：可以支持内核、关键进程、内存文件系统、文件缓存使用高可靠内存，避免内存多 bit 故障引起 内核复位。改进对高可靠内存的支持，较 22.03 相比，对高可靠内存支持更加完善。 • 内存 RAS - UCE 容错增强：支持 copy_from_user copy_from_user 读操作时，发生内存多 bit 错误，可以通过杀掉受影响的进程，而避 免内核复位。 • 可编程内核调度框架抢占、选核、选任务部分实现及示例。 • 基于 BPF 实现内核缓存，可以大幅提升 Redis 性能。 • 支持 AArch64 SME (Scalable Matrix Extension)：ME 是下一代 SIMD，其功能超越了 ARM 的 Neon。旨在为 AArch64

类似，需要将数据放在本地内存（例 如 LPDDR 或 HBM）中以提高计算速度。加速器厂商们也不可避免地需要开发复杂的内存管理系统。 现行加速器内存管理方案存在诸多缺陷： • CPU 侧内存管理与加速器侧分离，数据显式搬移，加速器内存管理的易用性和性能难以平衡。 • 大模型场景下加速器设备 HBM 内存（Hign BandWidth Memory）严重不足，现有的手动 swap 方案性能损耗大且 通用性差。 速器驱动无需重复实现内存管理框架，大幅降低开发维护带来的成本。 开发者使用一套统一申请、释放的 API，即可完成异构内存编程，无需处理内存搬移等细节。在加速器 HBM 内存不足时， GMEM 可将 CPU 内存作为加速器缓存，透明地超分 HBM，无需应用手动 swap。GMEM 提供高效免搬移的内存池化方案， 当内存池以共享方式接入后，可解决数据反复搬移的痛点。 GMEM 革新了 Linux 内核中的内存管理架构，其中逻辑映射系统屏蔽了 llama.cpp 和 chatglm-cpp 选择适合自己的开源大模型进行部署。 其主要特性如下： • 基于 ggml 的 C/C++ 实现。 • 通过 int4/int8 量化、优化的 KV 缓存和并行计算等多种方式加速内存高效 CPU 推理。 使用方法请参考 openEuler 支持部署大模型。 功能描述 内核创新 13 openEuler 23.09 技术白皮书 内核创新 内核创新

trigger data. Upper limit used to be 2GB before Zabbix 2.2.3. CacheUpdateFrequency 否 -3600 0 abbix 缓存更新频率, 单位为秒. 另外参考runtime control 选项。 CacheUpdateFrequency no 1-3600 60 How often Zabbix will perform 28K-2G 6M 史缓存数据大小, 单位 为字节。 HistoryCacheSize no 128K-2G 16M Size of history cache, in bytes. Shared memory size for storing history data. HistoryIndexCacheSize 否 28K-2G M 史索引缓存大小, 单位 为字节。\\缓存一个 item Specifies how many seconds trapper may spend processing new data. TrendCacheSize 否 28K-2G M 势数据缓存大小，单位 字节。 用于存储趋势数据的共 享内存大小。 TrendCacheSize no 128K-2G 4M Size of trend cache, in bytes. Shared memory

有新的状态计算规则和灵活的附加规则，用于基于直接子服务的状态和权重计算父服务的状态。现在还可以设置灵活的规则来将服务状态 传播到父服务。 服务权限 在用户角色 级别实现了对服务的灵活权限。可以向所有、无或选定的服务授予读写或只读访问权限（基于名称或标签）。 根本原因分析 一个新的 根本原因（Root cause）列显示了直接或间接影响服务状态的潜在问题。 如果您单击问题名称，您可以在 Monitoring → Problems 表中的名称时创建，已经过优化，现在可以更有效地处理。 17 Zabbix 6.0.12 新功能 改进了历史同步器的性能 通过引入新的读写锁提高了历史同步器的性能。这通过在访问配置缓存时使用共享读锁减少了历史同步器、捕 获器和代理轮询器之间的锁定。新锁只能由配置同步器执行配置缓存重新加载。 18 Zabbix 6.0.13 新功能 重大变化 可加载插件版本控制 Loadable plugins for Web 前端（或者 API）新增一个监控项时， 它会被添加到数据库的监控项表里。然后，Zabbix server 以每分钟一次的频率查询监控项表中的有效项，接着将它存储在 Zabbix server 中的缓存里。这就是为什么 Zabbix 前端所做的任何更改需要花费两分钟左右才能显示在最新的数据段的原因。 服务进程 通过二进制包安装的组件 Zabbix server 进程以守护进程（Deamon）运行。Zabbix

trigger data. Upper limit used to be 2GB before Zabbix 2.2.3. CacheUpdateFrequency 否 -3600 0 abbix 缓存更新频率, 单位为秒. 另外参考runtime control 选项。 CacheUpdateFrequency no 1-3600 60 How often Zabbix will perform 28K-2G 6M 史缓存数据大小, 单位 为字节。 20 HistoryCacheSize no 128K-2G 16M Size of history cache, in bytes. Shared memory size for storing history data. HistoryIndexCacheSize 否 28K-2G M 史索引缓存大小, 单位 为字节。\\缓存一个 item Specifies how many seconds trapper may spend processing new data. TrendCacheSize 否 28K-2G M 势数据缓存大小，单位 字节。 用于存储趋势数据的共 享内存大小。 TrendCacheSize no 128K-2G 4M Size of trend cache, in bytes. Shared memory

showmount 显示NFS服务器加载的信息 shuf 产生随机的排列 shutdown 用来执行系统关机的命令 skill 向选定的进程发送信号冻结进程 slabtop 实时显示内核slab内存缓存信息 sleep 将目前动作延迟一段时间 slocate 命令查找文件或目录 smbclient 交互方式访问samba服务器 smbpasswd samba用户和密码管理工具 sort 对文本文件中所有行进行排序 ss 比 netstat 好用的socket统计信息，iproute2 包附带的另一个工具，允许你查询 socket 的有关 统计信息 ssh-add 把专用密钥添加到ssh-agent的高速缓存中 ssh-agent ssh密钥管理器 ssh-copy-id 把本地的ssh公钥文件安装到远程主机对应的账户下 ssh-keygen 为ssh生成、管理和转换认证密钥 ssh-keyscan ARP 包（译注：一译分组）。 还有一种机制是 使用 netlink(7) sockets，在用户空间管理 ARP 缓存的机制。我们也可以通过 ioctl (2) 控 制任意 PF_INET socket上的 ARP 表 ARP 模块维护一个硬件地址到协议地址映射的缓存。这个缓存有大小限制，所以不常用的和旧的记录 （Entry）将被垃圾收集器清除（garbage-collected），垃圾收集器永远不能删除标为永久的记