基于 Apache APISIX 与 RocketMQ 构建云原生一体化架构 杜恒 ASF Member，Apache RocketMQ PMC 成员 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information Kubernetes 一键式部署扩容交付 W r i t e h e r e S o m e t h i n g Ab o u t 全新 POP 消费模型 服务端负载均衡  消除 Consumer 与 Queue 的 Binding 关 系，一个 Queue 可以由多个消费者消费  无 rebalance ，降低消费延迟概率  集群中某些消费端假死不影响整体消费进度  客户端更加轻量，多语言友好 任务计算过程中，会将同一个业务类型的数据发到同一个队列 • Binlog 等数据同步过程中，需要保证严格顺序 RAFT 存储支持：自动主从切换，强一致性保证 逻辑队列：秒级无损弹性扩缩，无数据复制，流量精准调度 消息与流融合索引支持 核心问题 • 消息体小且存储结构面向单 条消息，导致提升吞吐困难 • 在进行状态存储时，无 KV 语义支撑 挑战 • Commitlog 格式存储， 统一复制算法 •

厚，目前在企业内部负责着 日均千亿级消息流转的 RocketMQ 集群。本书不仅由浅入深的介绍了 RocketMQ 的架 构与实现，而且包含了多年线上超大规模集群开发运维经验的总结，通过本书不仅能够掌握 分布式消息平台的设计原理，对线上疑难问题排查分析、性能调优与架构设计也大有帮助。 目录 开篇：我的另一种参与 RocketMQ 开源社区的方式 6 1.1 RocketMQ 核心概念扫盲篇 busy、broker busy 原因分析与解决方案坑 91 1.10 再谈 RocketMQ broker busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId 与 offsetMsgId 释疑 释疑 131 1.15 RocketMQ ACL 使用指南 141 1.16 RocketMQ 消息轨迹-设计篇 151 1.17 消息发送常见问题与解决方案 155 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 开篇：我的另一种参与 RocketMQ 开源社区的方式 < 6 开篇：我的另一种参与 RocketMQ 开源 社区的方式 很荣幸在 2019 年获得了

vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com 2013/8/16 3 补充与规范区别 誓嘉 vintage.wang@gmail.com 2014/1/4 4 合并文档 誓嘉 vintage.wang@gmail.com 2014/11/17 5 ........................................................................................... 1 3 与业术诧 ................................................................................................ ...................................................................... 25 7.14 单个 JVM 迕程也能利用机器超大内存 ..................................................................................................

.......................................... 43 6.4：Broker 与 client（comsumer ，producer）之间的心跳， ................................ 44 6.5：Broker 与 namesrv 之间的心跳 ........................................... ................................................................................... 47 四：Namesrv 与 broker 间的心跳： ..................................................................................... 48 ............................................................ 49 一： NettyRemotingAbstract Server 与 Client 公用抽象类 ............................................... 49 1. invokeSyncImpl 同步调用实现 ........

Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 ClientRemotingProcessor RouteInfoManager DefaultRequestProcessor Store Service RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - ... } index ⾼高效存储 Disk （commitLog/consumeQueue/indexFile） NIO MappedByteBuffer 堆外内存 零拷⻉贝 mmap(内存映射) store/ | — commitlog/ MappedFileQueue | — 000000000 MappedFile

2-SNAPSHOT/bin/mqnamesrv >> /root/rocketmq/logs namesrv/namesrv.log & Linux 环境下遇到的问题： ● 启动的时候设置内存太大，只是用来测试的话，我们可以改下启动脚本的内存配置， runserver.sh ● 还有一个就是脚本格式问题，会导致脚本执行不了，解决办法： https://blog.lacknb.cn/articles/ 019/10/10/1577974148936

.......... 17 Page 3 of 18 背景介绍 Apache RocketMQ 是一款 java 语言开发的开源的、分布式的消息投递与流数据平台。 最早于 2016 年由阿里巴巴捐献给了 Apache 基金会，2017 年成为 Apache 的 顶级项 目，RocketMQ 具有低延迟，金融级高可用以及厂商中立的特点，目前广泛使用于国内 2 个或 3 个可用区。完 成选择 后，请确保“可用区数量”参数 与 您此处的选择是一致的。 2 Number of Availability Zones NumberOfAZs 必填项 要在 VPC 中使用的可用区的数量 (2 个或 3 个)。此数量必须与您 在 Availability Zones 参数中的选 择一致；否则，部署将失败，而

.......... 20 Page 3 of 21 背景介绍 Apache RocketMQ 是一款 java 语言开发的开源的、分布式的消息投递与流数据平 台。最早于 2016 年由阿里巴巴捐献给了 Apache 基金会，2017 年成为 Apache 的 顶级项目，RocketMQ 具有低延迟，金融级高可用以及厂商中立的特点，目前广泛使 逻辑顺序会被保留。此部署使⽤ 2 个或 3 个可⽤区。完 成选择 后，请确保“可⽤区数量”参数 与您此处的选择是⼀致的。 2 Number of Availability Zones NumberOfAZs 必填项 要在 VPC 中使⽤的可⽤区的数 量 (2 个或 3 个)。此数量必须与 您在 Availability Zones 参数中 的选择⼀致；否则，部署将失败

command to expose co e metrics 文献参照 ● RocketMQ与Kafka对比（18项差异） ● 技术选型：RocketMQ or Kafka ● Apache Kafkaに入門した 原文链接：Apache RocketMQ 介绍 ● 解决KafKa数据存储与顺序一致性保证 ● Kafka : Ordering Guarantees ● Apache Kafka

: 1. From Alibaba to Apache: RocketMQ’s Past, Present, and Future. InfoQ 2. Apache RocketMQ背后的设计思路与最佳实践. 云栖社区 3. 专访RocketMQ联合创始人：项目思路、技术细节和未来规划. InfoQ 4. 万亿级数据洪峰下的分布式消息引擎. 电子书节选章节 5. 捐赠Apache背后那些鲜为人知的故事