embracing the Distributed Messaging Standard OpenMessaging Presented By : ��(Von Gosling) 3 Safe Harbor Statement The following is intended to outline our general product direction. It is intended

基于 Apache APISIX 与 RocketMQ 构建云原生一体化架构 杜恒 ASF Member，Apache RocketMQ PMC 成员 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information

(kswapd) • Foreground reclaim (direct reclaim) ØPage fault • Major page fault will produce latency Memory Access Latency(Page Fault) alloc mem free mem? No Latency Page Reclaiming back-reclaim No Latency add_to_page_cache_locked 自旋锁- treelock 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 lMemory access latency issues: ØMemory lock ØWake_up_page ØWait_on_page_locked() ØWait_on_page_writebacfk() LOCKED DIRTY LRU ACTIVE WRITEBACK Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 Direct Memory 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺解决方案 ���������������� ���� ���������� ��������� �����������

(kswapd) • Foreground reclaim (direct reclaim) ØPage fault • Major page fault will produce latency Memory Access Latency(Page Fault) alloc mem free mem? No Latency Page Reclaiming back-reclaim No Latency add_to_page_cache_locked 自旋锁- treelock 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺内核源码分析 lMemory access latency issues: ØMemory lock ØWake_up_page ØWait_on_page_locked() ØWait_on_page_writebacfk() LOCKED DIRTY LRU ACTIVE WRITEBACK Heap Lock Page Cache Disk Request Request Request Request Request Request 万级请求/秒/单机 Direct Memory 1.4万亿 低延迟分布式存储系统 – PageCache的毛刺解决方案 ���������������� ���� ���������� ��������� �����������

的所有消息都是持丽化的，兇写入系统 PAGECACHE，然后刷盘，可以保证内存不磁盘都有一份数据， 访问时，直接从内存读叏。 7.2.1 异步刷盘 MEMORY JAVA HEAP DISK Producer Flush Asynchronously 在有 RAID 卡，SAS 15000 转磁盘测试顺序写文件，速度可以达到 项目开源主页：https://github.com/alibaba/RocketMQ 19 来找出更多干净 PAGE。 综上，内存溢出的情冴丌会出现。 7.2.2 同步刷盘 MEMORY JAVA HEAP DISK Producer Flush Synchronously 同步刷盘不异步刷盘的唯一区别是异步刷盘写完 PAGECACHE 直 Mysql 主从同步类似。 项目开源主页：https://github.com/alibaba/RocketMQ 26 7.14 单个 JVM 进程也能利用机器超大内存 MEMORY VIRTUAL MEMORY JAVA HEAP DISK Producer Consumer1 Consumer2 Consumer3 ⑤ ④ ⑦ ⑥ ⑧ ③ ② ① 图表 7-7 消息在系统中流转图

DefaultMessageStore#getMessage long diff = maxOffsetPy - maxPhyOffsetPulling; // @1 long memory = (long) (StoreUtil.TOTAL_PHYSICAL_MEMORY_SIZE * (this.messageStoreConfig.getAccessMessageInMemoryM 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 > 1.4 RocketMQ HA 核心工作机制 axRatio() / 100.0)); // @2 getResult.setSuggestPullingFromSlave(diff > memory); // @3 代码@1：首先介绍一下几个局部变量的含义：  maxOffsetPy 当前最大的物理偏移量。返回的偏移量为已存入到操作系统的 PageCache 中的内容。  maxPhyOffsetPulling 中的总大小，如果当 RocketMQ 容量超过该阔值，将会将被置换出内存，如果要访问不在 PageCache 中的消 息，则需要从磁盘读取。  StoreUtil.TOTAL_PHYSICAL_MEMORY_SIZE 返回当前系统的总物理内存。参数  accessMessageInMemoryMaxRatio 设置消息存储在内存中的阀值，默认为 40。 结合代码@2 这两个参数的含义，算出

MessageQueue2 部署模型 组件细节 Broker Netty RemotingServer Netty Remoting Client NameServer All Info In Memory except KV config info Netty RemotingServer topic register and heart beats Producer Consumer