RocketMQ v3.2.4 开发指南

### 《RocketMQ v3.2.4 开发指南》总结 #### 1. 前言 - RocketMQ 是一款高性能、可扩展的消息中间件，不遵循任何规范，但参考了多种规范和产品的设计思想。 - 文档主要总结了消息中间件遇到的问题及 RocketMQ 的解决方案。 #### 2. 产品发展历史 - **Metaq 1.x**: 开源社区维护，活跃。 - **Metaq 2.x**: 淘宝内部使用。 - **RocketMQ 3.x**: 基于开源共建原则，核心功能简化，仅维护核心功能，去除其他运行时依赖。 #### 3. 关键特性 - **高吞吐量**: 单机支持 1 万以上持久化队列。 - **可靠性**: 异步刷盘和同步刷盘策略。 - **消息查询**: 支持按 Message Id 和 Message Key 查询。 - **服务发现**: Name Server 是轻量级名称服务，支持集群扩展，无状态。 - **负载均衡**: 收发消息的负载均衡能力。 - **顺序消息**: 保证消息消费顺序，但存在性能损失。 - **事务消息**: 支持事务消息，确保消息可靠传输。 - **性能优化**: 使用 `mmap+write` 技术，提升小块数据传输效率。 #### 4. 通信组件 - **心跳处理**: 通信组件不处理心跳，由上层业务处理。 - **连接复用**: 同一网络连接支持多线程同时发送请求，通过 `opaque` 字段标识响应。 - **超时连接**: 连接若长时间无读写事件，自动关闭并通知业务清理注册信息。 #### 5. 服务发现（Name Server） - 轻量级名称服务，代码小于 1000 行，支持集群扩展和无状态特性。 - 主备自动切换功能依赖 Name Server。 #### 6. 客户端使用指南 - **寻址方式**（优先级从高到低）: 1. 代码指定 Name Server 地址。 2. Java 启动参数指定。 3. 环境变量指定。 4. HTTP 静态服务器寻址（默认）。 - **客户端行为**: - API 形式：通过 API 实现客户端行为。 - 公共配置：支持自定义配置。 - 生产者和消费者配置：分别通过 `rocketmq-client` 和 `rocketmq-broker` 实现。 #### 7. 最佳实践 - **生产者**: - 注意事项：避免频繁创建和销毁生产者实例，确保消息序列号唯一。 - 处理失败：重试机制需合理设置，避免重复消费。 - 顺序消息：确保生产者和消费者在同一顺序消息队列中操作。 - **消费者**: - 幂等性：消费过程需去重。 - 处理失败：支持多种重试机制。 - 提升速度：通过批处理、提高并行度等方式优化消费性能。 #### 8. 数据存储 - **存储目录结构**: 消息按主题和队列存储，支持索引和事务状态服务。 - **文件系统**: 使用 Ext4 文件系统，优化 IO 调度算法为 `deadline`，减少磁盘压力。 #### 9. 参考文档 - [RocketMQ 开源主页](https://github.com/alibaba/RocketMQ) - [CORBA Notification 规范](http://www.linuxjournal.com/article/6345) - [Ext4 文件系统优化](http://blog.donghao.org/2013/03/20/%E4%BF%AE%E5%A4%8Dext4%E6%97%A5%E5%BF%97%EF%BC%88jbd2%EF%BC%89bug/) #### 10. 术语表 - **Producer**: 消息生产者，负责生成消息。 - **Consumer**: 消息消费者，负责消费消息。 - **Broker**: 消息中转角色，负责存储和转发消息。 - **Push Consumer**: 消息到达时主动回调消费者。 - **Pull Consumer**: 消费者主动拉取消息。 总结：RocketMQ 是一款高效、可靠的消息中间件，适用于大规模分布式系统。其核心特性包括高吞吐量、服务发现、负载均衡和性能优化，适合需要高性能消息传输和可靠性的场景。