可以被置换到交换内存(虚拟内存)，RocketMQ 为了提高消息发送的性能，引入了内存锁 定机制，即将最近需要操作的 commitlog 文件映射到内存，并提供内存锁定功能，确保这 些文件始终存在内存中，该机制的控制参数就是 transientStorePoolEnable。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 1.9 RocketMQ 消息发送 system busy、broker 从这里可以看出，TransientStorePool 默认会初始化 5 个 DirectByteBuffer(对外内 存)，并提供内存锁定功能，即这部分内存不会被置换，可通过 transientStorePoolSize 参数控制。在消息写入消息时，首先从池子中获取一个 DirectByteBuffer 进行消息的追加， 那当 5 个 DirectByteBuffer 全部写满消息后，该如何处理呢？从 RocketMQ 的设计中来 broker busy < 106 针对前 4 种 broker busy 出现的问题已经在上篇文章中详细介绍，主要是由于 Broker 在追加消息时持有的锁时间超过了设置的 1s，Broker 为了自我保护，会抛出错误， 客户端会选择其他 broker 服务器进行重试。如果对不是金融级服务，建议将 transientStorePoolEnable = true，可以有效避免前面 4 种 broker

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战

consumer 通过长轮询拉取消息后回调 MessageListener 接口实现完成消费， 应用系统只要 MessageListener 完成业务逻辑即可 2. Pull 方式：完全由业务系统去控制，定时拉取消息，指定队列消费等等， 当然这里需要 业务系统去根据自己的业务需求去实现 下面介绍默认以 push 方式为主， 因为绝大多数是由 push 消费方式来使用 rocketmq 的。 注：ProcessQueue 正在被消费的队列， (1) 长轮询拉取到消息都会先存储到 ProcessQueue 的 TreeMap 集合中，消费调后会删除掉，用来控制 consumer 消息堆积， TreeMap key 是消息在此 ConsumeQueue 队列中索引 (2) 对于顺序消息消费 处理 locked 属性:当 获取 ProcessQueue 判读是否 drop 的， drop 为 true 返回 2. 给 ProcessQueue 设置拉消息时间戳 3. 流量控制，正在消费队列中消息（未被消费的）超过阀值，稍后在执行拉消息 4. 流量控制，正在消费队列中消息的跨度超过阀值（默认 2000），稍后在消费 5. 根据 topic 获取订阅关系 6. 构建拉消息回调对象 PullBack, 从 broker

部署一台堡垒主机，此数目可配置，最多启动 4 台。通过堡垒主机访 问私有⼦网 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management (IAM) 实例⻆⾊，具有细化控制的 权限， 用于访问部署过程所需的 AMAZON WEB SERVICES 服务。 • (*) 安全组，用于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝（如 果您选 择的是启动在已有 Group，NAT Gateway， EBS 等没有达到上限。如果某一项您已经达到上限，请向后台提交⼯单选择申 请提高限制。 3. 如果在该区域内您还没有密钥对，请在 Amazon EC2 控制台的导航窗格中，依 次选择密钥对、创建密钥对，选择默认的.pem 格式，键⼊名称，然后选择创建 并妥善保管好此秘钥。请妥善保管此密钥，若丢失，将无法访问实例。 Page 6 您可以 使用以下链接快速启动一个 AMAZON CloudFormation 堆栈来部署和管理整个方案： 启动 AMAZON CloudFormation 堆栈 单击以下按钮，在相应区域的控制台部署 AMAZON CloudFormation 模板。 Page 7 of 18 选项 1 部署 Apache RocketMQ 到新的 VPC 选项 2

部署⼀台堡垒主机，此数⽬可配置，最多启动 4 台。通过堡垒主 机访问私有⼦⽹ 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management (IAM) 实例⻆⾊，具有细 化控制的权限， ⽤于访问部署过程所需的 AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组，⽤于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝ Group，NAT Gateway，EBS 等没有达到上限。如果某⼀项您已经达到上限，请向后台提交 ⼯单选择申请提⾼限制。 3. 如果在该区域内您还没有密钥对，请在 Amazon EC2 控制台的导航窗格中， 依次选择密钥对、创建密钥对，选择默认的.pem 格式，键⼊名称，然后选择 创建并妥善保管好此秘钥。请妥善保管此密钥，若丢失，将⽆法访问实例。 Page 6 of 您可以使用以下链接快速 启动一个 Amazon CloudFormation 堆栈来部署和管理整个方案： 启动 Amazon CloudFormation 堆栈 单击以下按钮，在相应区域的控制台部署 Amazon CloudFormation 模板。 选项 1 部署 Apache RocketMQ 到新的 VPC 选项 2 部署 Apache RocketMQ 到现有的

刻回调 Listener 接口方法。  Pull Consumer Consumer 的一种，应用通常主劢调用 Consumer 的拉消息方法从 Broker 拉消息，主劢权由应用控制。  Producer Group 一类 Producer 的集合名称，返类 Producer 通常収送一类消息，丏収送逡辑一致。  Consumer Group 一类 Consumer 式 1. 使用 mmap + write 方式 优点：即使频繁调用，使用小块文件传输，效率也很高 缺点：丌能很好的利用 DMA 方式，会比 sendfile 多消耗 CPU，内存安全性控制复杂，需要避免 JVM Crash 问题。 2. 使用 sendfile 方式 优点：可以利用 DMA 方式，消耗 CPU 较少，大块文件传输效率高，无内存安全新问题。 缺点：小块文件效率低亍 同步落盘本身性能开销 较大，所以通常会采用异步落盘，又由亍应用关闭过程丌叐 MQ 运维人员控制，可能经常会収生 kill -9 返样 暴力方式关闭，造成数据没有及时落盘而丢失。 3. Producer 所在机器的可靠性较低，一般为虚拟机，丌适合存储重要数据。 综上，建议重试过程交由应用来控制。 项目开源主页：https://github.com/alibaba/RocketMQ