对等的读写服务，支持快速扩缩容。 Broker负责消息存储，以Topic为纬度支持轻量级的队列，单机可以支撑上万队列规模，支持消息推 模型，具备多副本容错机制（2副本或3副本）、强大的削峰填谷以及上亿级消息堆积能力，同时可严 保证消息的有序性。除此之外，Broker还提供了同城异地容灾能力，丰富的Metrics统计以及告警机 。这些都是传统消息系统无法比拟的。 Producer由用户进行分布式部署，消息由Pr

消费消息过程，使用了零拷贝，零拷贝包含以下两种方式 1. 使用 mmap + write 方式 优点：即使频繁调用，使用小块文件传输，效率也很高 缺点：丌能很好的利用 DMA 方式，会比 sendfile 多消耗 CPU，内存安全性控制复杂，需要避免 JVM Crash 问题。 2. 使用 sendfile 方式 优点：可以利用 DMA 方式，消耗 CPU 较少，大块文件传输效率高，无内存安全新问题。 31 9.3 连接复用 同一个网络连接，客户端多个线程可以同时収送请求，应答响应通过 header 中的 opaque 字段来标识。 9.4 超时连接 如果某个连接超过特定时间没有活劢（无读写事件），则自劢关闭此连接，幵通知上局业务，清除连接对应的 注册信息。 10 RocketMQ 服务发现（Name Server） Name Server 是与为 RocketMQ 设计的轻量级名称服务，代码小亍 基础乀上增加多个字段，Consumer 看到的是 com.alibaba.rocketmq.common.message.MessageExt 返个数据结构，MessageExt 继承亍 Message，MessageExt 多 出来的数据字段如下表所述。 12 Broker 使用挃南 12.1 Broker 配置参数 获取 Broker 的默认配置 sh mqbroker -m 项目开源主页：https://github

通过 AcceptSocketService 监听 slave 的连接，每个 master slave 连接都会构建一个 HAConnection 对象搭建他们之间的桥梁， 对于一个 master 多 slave 部署结构的会有多个 HAConnection 实例， Master 构建 HAConnection 时会构建向 slave 写入数据服务线程对象 WriteSocketService Map> 将 broker 按照集群分组 Map BrokerLiveInfo 代表一个活的 broker 链接由最后更新时间，一个链接 channel，数据版本和 Ha 地址组成 Broker 定时向 namesrv 注册并更新 BrokerLiveInfo 的时间戳

busy 104 1.11 从年末生产故障解锁 RocketMQ 集群部署的最佳实践 108 1.12 RocketMQ 一行代码造成大量消息丢失 115 1.13 RocketMQ DLedger 多副本即主从切换实战 121 1.14 RocketMQ msgId 与 offsetMsgId 释疑 131 1.15 RocketMQ ACL 使用指南 141 1.16 RocketMQ 消息轨迹-设计篇 我比较“苦逼”，在带娃方面我的资源只有我老婆，父母在老家无法分身，故下班后我 没有连续的空闲时间专心投入一项任务中，而开源最需要的是精益求精，不只是需要完成功 能，而是要编写结构优良的代码，设计所占据的时间比代码开发时间要多的多，故我个人认 为我暂时不方便走代码贡献这条道路。但我零碎时间还是充足的，故现阶段我会好好利用这 些零碎时间，继续通过写文章的方式为开源项目贡献自己的一份力量。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 的路由信息，持久化 Topic 路由信息 的地方是在 Broker 中，即${ ROCKETMQ_HOME}/store/config/topics.json。 在 RocketMQ4.5.0 版本后引入了多副本机制，即一个复制组（m-s）可以演变为基 于 raft 协议的复制组，复制组内部使用 raft 协议保证 broker 节点数据的强一致性，该部署 架构在金融行业用的比较多。 二、消息订阅模型

gin g 主从复制架构升级，性能提升数倍 RAFT 存储生产可用 rocketm q-con n ect 进入孵化 2021 5.0 -p rev iew 发布 性能优化、PoP 消费，多存储目录， 轻量级队列 rocketm q-strea m s 轻量级实时计算 引擎发布 5.0 消息事件流融合处理平台 Sta r: 1 .7w C on tributor: 50 0 IaaS 的多样性对应用交付部署提出了更高要求 • 可运维性、可观测性带来了更大挑战 • 多租环境带来了更高的网络及安全隔离要求 • 无限资源 vs 有限成本 • 冗长的请求链路，膨胀的技术栈 ……. 面向失败 松散耦合 基础设施解耦 极致弹性 多场景适应 低成本 高 SLA X 客户价值： X 多场景 云原生时代的挑战 云原生四要素 云原生时代的 RocketMQ admin Server 计算集群 可观测 remoting gRPC MQTT AMQP AC L 消息 事件 Subscription 多租户 Store Store Store Store Store Store 存储集群 高可用架构升级： • 秒级故障转移，多场景容灾支持 • 无外部依赖，节点间松散耦合 • 自建及云上异构 IaaS 基础设施支持，降低成本 轻量级SDK： • 全面支持云原生通信标准

- i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 1.4万亿 RocketMQ 多副本高可靠 ZK provides: • Maintain persistent state Machine. • Maintain ephemeral broker status new state to ZK. Report status Change status Watch state machine Broker works as: 1.4万亿 RocketMQ 多副本高可靠 Variables Values & Description MTBF of Disk(Hours) 1200000, from Seagate(希捷) Time for recovery(Hours)

- i n c . c o m ©2016 Alibaba Middleware Group n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可用 10亿 百亿 千亿 5千亿+ 万亿+ 历年双11消息数量变化 2012双11 2013双11 2014双11 2015双11 2016双11 用户请求 交易 交易 易 用户请求 未来展望 m w a l i b a b a - i n c . c o m n 历年双11消息数量变化 n 消息中间件核心链路 n 低延迟存储 n 容量保障 n 熔断机制 n 多副本高可靠 1.4万亿 RocketMQ 多副本高可靠 ZK provides: • Maintain persistent state Machine. • Maintain ephemeral broker status new state to ZK. Report status Change status Watch state machine Broker works as: 1.4万亿 RocketMQ 多副本高可靠 Variables Values & Description MTBF of Disk(Hours) 1200000, from Seagate(希捷) Time for recovery(Hours)

Path: /tmp/rocketmq/msgbodys/707C8CC435FE3FD00E77180D7FCB0B24 03 Performance Tuning 行路难，行路难，多歧路，今安在。 长风破浪会有时，直挂云帆济沧海。 © 2 0 1 7 A l i b a b a M i d d l e w a r e G r o u p © 2 0 1 7 A