Apache RocketMQ 事务消息 王强 (辽天) 阿⾥里里巴巴 中间件技术专家 • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 Apache RocketMQ http://rocketmq.apache.org • ⾼高性能，分布式 ⾼高性能，分布式 • ⾼高并发 • 消息堆积 • Apache顶级项⽬目 发展历史 2013� Open Source Massive accumulation Orderly messaging 2014� Industry Ready 194.2 billion messages transferring in Singles��Day and widely used RemotingCommand • 事务消息的演进与Apache RocketMQ的实现 • Cloud Native时代下消息系统的挑战 • Apache RocketMQ 简介 • Apache RocketMQ 存储设计 存储⽂文件 - - - - - 1G - - - - - 6M - - - - - 400M 配置和状态相关 消息存储和检索相关 存储设计 producer

Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望

万亿级数据洪峰下的消息引擎 Apache RocketMQ 誓嘉 自我介绍 l花名：誓嘉 l真名：王小瑞 lvintagewang@apache.org l@阿里巴巴-中间件 lApache RocketMQ 创始人， PPMC Member，Committer lOpen-Messaging创始人 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 . c o m ©2016 Alibaba Middleware Group 阿里消息中间件演变历史 2016 2007 2010 2011 2012 2015 Notify 五彩石项目 交易核心消息流转 Napoli ActiveMQ内核 B2B大规模使用 MetaQ v1.0 顺序消息 海量堆积能力 Aliware MQ v1.0 Notify v3.0 MetaQ RocketMQ MetaQ RocketMQ Notify Aliware MQ 有序消息，Pull模式， 海量消息堆积能力 阿里云售卖的消息中间件， 支持公有云，金融云，私 有云，聚石塔 事务消息，Push模式， 交易核心消息分发 阿里消息中间件现状 CONTENTS 01 02 03 阿里消息中间件的演变历史 双11万亿级数据洪峰的挑战 Apache RocketMQ 未来展望

.................. 5 二：Producer 如何发送消息 ................................................................................................... 6 2.1 producer 发送普通消息 .................................... .......................... 7 2.2 顺序消息发送 ............................................................................................................ 7 2.3 分布式事物消息 ................................... ..................... 9 三：Broker 落地消息 ............................................................................................................. 11 2.1 普通消息落地 ..................................

their respective owners. 摘要 摘要 此发行注记介绍了 OpenShift Container Platform 的新功能、功能增强、重要的技术变化、以及对以 前版本中的错误作出的主要修正。另外，还包括在此版本正式发行（GA）时存在的已知问题的信 息。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 生成一个在一个 registry 范围内有效的 ImageContentSourcePolicy 对象 1.2.16. 集群日志记录 Log Forwarding API 已正式发布 在日志消息中添加标签 新的集群日志记录仪表板 用于调整 Fluentd 的新参数 1.2.17. 监控 1.2.17.1. 用户定义项目的监控 1.2.17.2. 对规则更改的警报 1.2.17.3 的外部置备程序（技术预览） 1.4.2.4. TLS 验证返回到 Common Name 字段 1.4.2.5. 删除了对 Microsoft Azure 的 mint 凭证的支持 1.5. 程序错误修复 1.6. 技术预览功能 1.7. 已知问题 29 29 29 29 29 29 29 29 29 29 29 29 30 30 30 30 30 30 30 30

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 9.4.3 双向循环神经网络的错误应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.5 机器翻译与数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497 12 计算性能 503 12.1 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 12.1.1 处：这使你可以通过利用我们的代码尽可能轻松地启动你自己的研究项目。只需复制这一节的内容并开始修 改即可。 我们将根据需要将可运行代码与背景材料交错。通常，在充分解释工具之前，我们常常会在提供工具这一方 面犯错误（我们将在稍后解释背景）。例如，在充分解释随机梯度下降为什么有用或为什么有效之前，我们可 以使用它。这有助于给从业者提供快速解决问题所需的弹药，同时需要读者相信我们的一些决定。 这本书将从头开始

Platform 4.13 安装 安装 30 此流程解释了如何使用 upgrade 命令从本地主机更新 Red Hat OpenShift 的镜像 registry 。更新至最新版 本可确保新的功能、错误修复和安全漏洞修复。 重要 重要 更新时，镜像 registry 会发生间歇性停机时间，因为它在更新过程中重启。 先决条件 先决条件 您已在本地主机上安装了 Red Hat OpenShift OpenShift 更新 mirror registry 此流程解释了如何使用 upgrade 命令从远程主机更新 Red Hat OpenShift 的镜像 registry 。更新至最新版 本可确保程序错误修复和安全漏洞。 重要 重要 更新时，镜像 registry 会发生间歇性停机时间，因为它在更新过程中重启。 先决条件 先决条件 您已在远程主机上安装了 Red Hat OpenShift 的镜像 命令行参数的更多信息，请参阅"Mirror registry for Red Hat OpenShift 标志"。 4.2.10.11.2. 程序 程序错误 错误修复 修复 在以前的版本中，当试图卸载 mirror registry for Red Hat OpenShift 时会返回以下错误：["Error: no container with name or ID \"quay-postgres\" found:

连接的安装 接的安装镜 镜像 像 31 此流程解释了如何使用 upgrade 命令从本地主机更新 Red Hat OpenShift 的镜像 registry 。更新至最新版 本可确保新的功能、错误修复和安全漏洞修复。 重要 重要 更新时，镜像 registry 会发生间歇性停机时间，因为它在更新过程中重启。 先决条件 先决条件 您已在本地主机上安装了 Red Hat OpenShift OpenShift 更新 mirror registry 此流程解释了如何使用 upgrade 命令从远程主机更新 Red Hat OpenShift 的镜像 registry 。更新至最新版 本可确保程序错误修复和安全漏洞。 重要 重要 更新时，镜像 registry 会发生间歇性停机时间，因为它在更新过程中重启。 先决条件 先决条件 您已在远程主机上安装了 Red Hat OpenShift 的镜像 命令行参数的更多信息，请参阅"Mirror registry for Red Hat OpenShift 标志"。 4.2.10.11.2. 程序 程序错误 错误修复 修复 在以前的版本中，当试图卸载 mirror registry for Red Hat OpenShift 时会返回以下错误：["Error: no container with name or ID \"quay-postgres\" found:

务、物联网、Serverless 感兴趣。 推荐序 Apache RocketMQ 作为一款高吞吐，抗万亿消息堆积的云原生消息平台，目前已 经被国内 75% 以上互联网、金融等公司所采用，逐渐成为企业 IT 架构的核心基础设施。 丁威老师作为资深架构师，在分布式架构、存储方面功底深厚，目前在企业内部负责着 日均千亿级消息流转的 RocketMQ 集群。本书不仅由浅入深的介绍了 RocketMQ 的架 构与实 构与实现，而且包含了多年线上超大规模集群开发运维经验的总结，通过本书不仅能够掌握 分布式消息平台的设计原理，对线上疑难问题排查分析、性能调优与架构设计也大有帮助。 目录 开篇：我的另一种参与 RocketMQ 开源社区的方式 6 1.1 RocketMQ 核心概念扫盲篇 10 1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 18 1.3 实战：RocketMQ 踩坑记：rocketmq-console 消费 TPS 为 0，但消息积压数却在降低是个什么 “鬼” 49 1.6 RocketMQ 一个新的消费组初次启动时从何处开始消费呢？ 64 1.7 一次 RocketMQ 进程自动退出排查经验分享 78 1.8 RocketMQ 主题扩分片后遇到的坑 82 1.9 RocketMQ 消息发送 system busy、broker busy 原因分析与解决方案坑