Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 ⾼高性能，分布式 • ⾼高并发 • 消息堆积 • Apache顶级项⽬目 发展历史 2013� Open Source Massive accumulation Orderly messaging 2014� Industry Ready 194.2 billion messages transferring in Singles��Day and widely used RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - - - - 6M - - - - - 400M 配置和状态相关 消息存储和检索相关 存储设计 producer

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望

.................. 5 二：Producer 如何发送消息 ................................................................................................... 6 2.1 producer 发送普通消息 .................................... .......................... 7 2.2 顺序消息发送 ............................................................................................................ 7 2.3 分布式事物消息 ................................... ..................... 9 三：Broker 落地消息 ............................................................................................................. 11 2.1 普通消息落地 ..................................

基于 Apache APISIX 与 RocketMQ 构建云原生一体化架构 杜恒 ASF Member，Apache RocketMQ PMC 成员 Safe Harbor Statement The following is intended to outline our general product direction. It is intended for information 01 业务消息领域挑战 • 核心链路，稳定性要求高、时延敏感 • 容量峰值具有随机性，弹性要求高 • 业务场景复杂、集成要求尽可能简单 • 运维及流量调拨要求高 极简架构 高性能 金融级高可靠 打造业务消息领域首选 零依赖 可扩展 低延迟 高吞吐 强同步刷盘 ACK 机制 普通消息 顺序消息 延迟消息 事务消息 重试消息 死信消息 设计思想： 1.消息不丢、高可靠是架构的基础 消息不丢、高可靠是架构的基础 2.时延优先，兼顾吞吐 3.收敛业务共性问题，提供丰富的业务消息类型 4.注重可运维性、弹性扩缩、流量调拨能力建设 RocketMQ 简介 2022 2007 2012 2016 2017 2018 N otify Born from multicolored stone project, designed for Taobao B2C Trading Aliw

RocketMQ 开发挃南 针对 v3.2.4 ©Alibaba 消息中间件项目组 2015/1/7 文档变更历史 序号 主要更改内容 更改人 更改时间 1 建立初始版本 誓嘉 vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com ........................................................................................... 2 4 消息中间件需要解决哪些问题？ ...................................................................................... ........................................................................................ 8 4.12 消息堆积 ................................................................................................

OpenMessaging TSC Member，目前负责 RocketMQ 专有云商业化以 及开源技术生态构建。具有多年分布式系统、中间件 研究及工程经验。目前对分布式中间件、K8s、微服 务、物联网、Serverless 感兴趣。 推荐序 Apache RocketMQ 作为一款高吞吐，抗万亿消息堆积的云原生消息平台，目前已 经被国内 75% 以上互联网、金融等公司所采用，逐渐成为企业 IT 架构的核心基础设施。 丁威老师作为资深架构师，在分布式架构、存储方面功底深厚，目前在企业内部负责着 日均千亿级消息流转的 RocketMQ 集群。本书不仅由浅入深的介绍了 RocketMQ 的架 构与实现，而且包含了多年线上超大规模集群开发运维经验的总结，通过本书不仅能够掌握 分布式消息平台的设计原理，对线上疑难问题排查分析、性能调优与架构设计也大有帮助。 目录 开篇：我的另一种参与 RocketMQ 踩坑记：rocketmq-console 消费 TPS 为 0，但消息积压数却在降低是个什么 “鬼” 49 1.6 RocketMQ 一个新的消费组初次启动时从何处开始消费呢？ 64 1.7 一次 RocketMQ 进程自动退出排查经验分享 78 1.8 RocketMQ 主题扩分片后遇到的坑 82 1.9 RocketMQ 消息发送 system busy、broker busy 原因分析与解决方案坑

RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容 和灵活的可伸缩性。它的一个重要特性是支持非日志类型的可靠消息传送，非常适合运用在金融和电 商务领域。目前他是Apache社区的顶级项目，在全球有超过100家公司在其业务中使用RocketMQ 开源版本。 诞生 RocketMQ起源于阿里巴巴。阿里巴巴最初由于业务需求，需要使用消息中间件。早期使用过Notify IO模块遇到了瓶颈，几经努力但改善成果不 。这时正值Kafka流行，于是引起了阿里巴巴开发团队的注意，对kafka的无限消息堆积，高效持久化 度等特性非常赞赏。但不幸的是，Kafka不能满足他们的要求，特别是在低延迟和高可靠性方面。在 种情况下，阿里巴巴决定发明一个新的消息传递引擎来处理更广泛的用例集，从传统的发布/订阅方 到大批量实时零损失容忍交易系统。 里程碑 2012年，阿里巴巴开始开 2012年，阿里巴巴开始开发RocketMQ，经历了数次双11核心交易链路检验。 2016年11月11日，RocketMQ又一次在阿里巴巴全球购物节上处理了1.2万亿个并发在线消息传输， 后阿里巴巴将RocketMQ捐献给Apache Incubator。 2017年9月25日 – Apache软件基金会，连同350多个开源项目的全体志愿者、开发人员、管理人员 和孵化项目组织，宣布Apache®RocketMQ™从Ap

# 消费队列存储路径 storePathConsumerQueue=/Users/gitsilence/JavaTools/rocketmq/data/store-a/consumeque e # 消息索引存储路径 storePathIndex=/Users/gitsilence/JavaTools/rocketmq/data/store-a/index # checkpoint 文件存储路径 s 原文链接：rocketmq 服务部署 storePathConsumerQueue=/Users/gitsilence/JavaTools/rocketmq/data/store-b/consumeque e # 消息索引存储路径 storePathIndex=/Users/gitsilence/JavaTools/rocketmq/data/store-b/index # checkpoint 文件存储路径 s ata/store-a/commitlog # 消费队列存储路径 storePathConsumerQueue=/root/rocketmq/data/store-a/consumequeue # 消息索引存储路径 storePathIndex=/root/rocketmq/data/store-a/index # checkpoint 文件存储路径 storeCheckpoint=/root/r

.............. 20 Page 3 of 21 背景介绍 Apache RocketMQ 是一款 java 语言开发的开源的、分布式的消息投递与流数据平 台。最早于 2016 年由阿里巴巴捐献给了 Apache 基金会，2017 年成为 Apache 的 顶级项目，RocketMQ 具有低延迟，金融级高可用以及厂商中立的特点，目前广泛使 部署⼀台堡垒主机，此数⽬可配置，最多启动 4 台。通过堡垒主 机访问私有⼦⽹ 中的 RocketMQ 相关节点。 • AMAZON Identity and Access Management (IAM) 实例⻆⾊，具有细 化控制的权限， ⽤于访问部署过程所需的 AMAZON WEB SERVICES 服 务。 Page 5 of 21 • (*) 安全组，⽤于在 VPC 内实现通信，且仅允许访问必需的协议和端⼝ RocketMQ 快速部署脚本做了 ⾃定义化并且 上传到了您⾃⼰ 的桶中。 25 Quick Start S3 Key Prefix QSS3KeyPrefix quickstart- rocketmq/ S3 前缀。请不要更改此选项， 除⾮您对此启动脚本做了⾃定义 Page 12 of 21 化并且存放到了不同的前缀⽬录 下。