1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 18 1.3 实战：RocketMQ 学习环境搭建指南篇 28 1.4 RocketMQ HA 核心工作机制 39 1.5 踩坑记：rocketmq-console 消费 TPS 为 0，但消息积压数却在降低是个什么 “鬼” 49 1.6 RocketMQ 一个新的消费组初次启动时从何处开始消费呢？ 64 有了新的称号，那就得更加努力，朝着优秀努力，在 2019 年我又陆续发表了 20 几篇 关于 RocketMQ 相关的文章，这些文章含金量极高，不仅及时跟进了 RocketMQ4.3.0 之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指 出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于 20 19 年 RocketMQ 官方社区授予我优秀布道师荣誉称号。 RocketMQ 中，主服务承担读写操作，从服务器作为一个备份，当主服务器存 在压力时，从服务器可以承担读服务（消息消费）。所有 Broker，包含 Slave 服务器每隔 30s 会向 Nameserver 发送心跳包，心跳包中会包含存在在 Broker 上所有的 topic 的路 由信息。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 11 > 1.1 RocketMQ 核心概念扫盲篇

........................................................................................ 29 9.2 心跳处理 ................................................................................................ 在吐 Consumer 投递成功消息后，消息仍然需要保留。幵丏重新消费一般是挄照时间维度，例如由亍 Consumer 系统故障， 恢复后需要重新消费 1 小时前的数据，那举 Broker 要提供一种机制，可以挄照时间维度来回退消费迕度。 RocketMQ 支持挄照时间回溯消费，时间维度精确到毫秒，可以吐前回溯，也可以吐后回溯。 4.12 消息堆积 消息中间件的主要功能是异步解耦，迓有个 可避免的产生巨大性能开销。 RocketMQ 支持定时消息，但是丌支持任意时间精度，支持特定的 level，例如定时 5s，10s，1m 等。 4.15 消息重试 Consumer 消费消息失败后，要提供一种重试机制，令消息再消费一次。Consumer 消费消息失败通常可以讣为 有以下几种情冴 1. 由亍消息本身的原因，例如反序列化失败，消息数据本身无法处理（例如话费充值，当前消息的手机号被 项目开源主页：https://github

................... 43 6.4：Broker 与 client（comsumer ，producer）之间的心跳， ................................ 44 6.5：Broker 与 namesrv 之间的心跳 .................................................................. ........................................................................ 47 四：Namesrv 与 broker 间的心跳： ..................................................................................... 48 第五章 Remoting Producer 与 broker 间的心跳 Producer 定时发送心跳将 producer 信息（其实就是 procduer 的 group）定时发送到， brokerAddrTable 集合中列出的 broker 上去 Producer 发送消息只发送到 master 的 broker 机器，在通过 broker 的主从复制机制拷贝到 broker 的 slave 上去

Ticket扩展 用于会话复用，加速握手过程 • Cached-info扩展 缓存证书等服务端信息，避免 再次握手时重复传输数据 • ECDHE-keyshare扩展 将TLS1.3草案中的1-RTT机制通 过扩展的方式提前应用 • ECC-signature扩展 使用高效ECDSA签名算法的同 时，兼容广泛使用的RSA证书 按需握手 • 业务可根据需求灵活选择明文 或密文传输，提升业务效率 TLS扩展安全合规能力持续升级 国密算法 • 拥抱监管 • 安全可控 • 金融科技 AntTLS库 • 基于OpenSSL • 全面拥抱TLS1.3 • 国密优化实现，国密单证书标准支撑 • 支持SGX等可信机制 • 多硬件卡Engine • Mobile，iot设备等多终端支持 • OpenSSL Committer无线移动战役 操作响应慢 操作无响应 Push没消息 Push消息慢 海外消息慢 统一通道：主长连接 + 短连接 § 统一协议：MTLS+MMTP § 统一调度：MobileDC 最优调度 网络探测 连接建立 传输+保持 通道复用 复合建连 握手优化 短连补偿 智能心跳 数据压缩 质量模型 自动重试 云端补偿 柔性建连 假连淘汰 动态超时 § 终端策略覆盖移动网络难点 § 优化对业务透明 § ROI考虑 好网更快 弱网更好 协议优化 支付宝网络接入层架构示意

——————————————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 1.2 NameNode 心跳并发配置 1）hdfs-site.xml The number of Namenode RPC server threads that listen to requests from Namenode RPC server threads listen to requests from all nodes. NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发 的元数据操作。 对于大集群或者有大量客户端的集群来说，通常需要增大该参数。默认值是 10。 dfs.namenode.handler.count int(20*math.log(3)) 21 >>> quit() 1.3 开启回收站配置 开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、 备份等作用。 1）回收站工作机制 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————————————————————————————— 更多 Java –大数据

APP-B APP-C Gateway Auth N Auth Z 协议适配: • 提供常用协议服务的接入、转换（Dubbo，XML） • 灵活定制化的数据变换 控制能力: • 认证鉴权机制 • 流量控制 • 黑白名单 • 服务路由 可靠高效: • 分布式，高可用 • 高性能，低延迟 • 线性扩容 海尔工业互联网 –微服务之监控日志 Node PrometheusServer（Pod） Rest API 服务 • 与 Endpoint-admin Client 进行通信 • 接受 Endpoint-admin Client 心跳信息 Endpoint-admin Client • 提供代理服务 • 调用容器 API 执行相关命令 • 上报心跳信息 • 上报监控信息 List and add endpoint server List containers in endpoint

Manager，管理 Container, Pipelines 和 Datanode，为 Ozone Manager 提供Block 和 Container 的操作和信息。SCM也监听 Datanode 发来的心跳信息，作为Datanode manager的角色, 保证和维护集群所需的数据冗余级别。SCM 和 Ozone Client 之间没有通信。 Block，Container 和 Pipeline Block og_hadoop Datanode Datanode 是 Ozone 的数据节点，以 Container 为基本存储单元，维护每个 Container 内部的数据映射关系，定时向 SCM 发送心跳节点，汇报节点的信息，管理的 Container 的信息，Pipeline 的信息。当一个 Container Size 超过预定的大小 90% 时 或者写操作失败时，Datanode 会发送 Container

应用程序的基本单元，它由应用程序代码与其依赖项、库和二进制 文件一起打包。容器提供不同环境间的一致性和多个部署目标：物理服务器、虚拟机 (VM) 和私有或公有 云。 Linux 容器技术是一种轻量型机制，用于隔离运行中的进程，仅限制对指定的资源的访问。作为管理员， 您可以在 Linux 容器上执行各种任务，例如： 将文件复制到一个容器中或从容器中复制。 允许容器消耗 API 对象。 在容器中执行远程命令。 有些应用程序需要密码和用户名等敏感信息，但您不希望开发人员持有这些信息。 作为管理员，您可以使用 Secret 对象在不以明文方式公开的前提下提供此类信息。 2.6.1. 了解 secret Secret 对象类型提供了一种机制来保存敏感信息，如密码、OpenShift Container Platform 客户端配置文 件和私有源存储库凭证等。secret 将敏感内容与 Pod 分离。您可以使用卷插件将 secret 挂载到容器中， secret。可以通过三种方式将 secret 用于 Pod： 为容器产生环境变量。 作为挂载到一个或多个容器上的卷中的文件。 在拉取 Pod 的镜像时通过 kubelet 使用。 卷类型 secret 使用卷机制将数据作为文件写入到容器中。镜像拉取 secret 使用服务帐户，将 secret 自动 注入到命名空间中的所有 pod。 当模板包含 secret 定义时，模板使用提供的 secret 的唯一方法是确保验证

应用的基本单元，其中包含打包的应用程序代码及其依赖项、库和 二进制文件。容器提供不同环境间的一致性和多个部署目标：物理服务器、虚拟机 (VM) 和私有或公有 云。 Linux 容器技术是隔离运行进程并仅限制对指定资源的访问的轻量机制。作为管理员，您可以在 Linux 容 器上执行各种任务，例如： 将文件复制到容器中或从容器中 复制。 允许容器使用 API 对象。 在容器中执行远程命令。 使用端口转发来访问容器中的应用。 对象在不以明文方式公开的前提下提供此 象在不以明文方式公开的前提下提供此类 类信息。 信息。 2.6.1. 了解 了解 secret Secret 对 对象 象类 类型提供了一种机制来保存敏感信息，如密 型提供了一种机制来保存敏感信息，如密码 码、 、OpenShift Container Platform 客 客户 户端配 端配 置文件和私有源存 置文件和私有源存储库 储库凭 凭证 证等。 等。secret 在拉取 在拉取 Pod 的 的镜 镜像 像时 时通 通过 过 kubelet 使用。 使用。 卷 卷类 类型 型 secret 使用卷机制将数据作 使用卷机制将数据作为 为文件写入到容器中。 文件写入到容器中。镜 镜像拉取 像拉取 secret 使用服 使用服务帐户 务帐户，将 ，将 secret 自 自动 动注入到命名空 注入到命名空间 间中的所有

赖于将元数据永久存储到一个日志 (WAL)，所以 etcd 对磁盘的写延迟非常敏感。减慢来自其他进程的磁 盘活动和磁盘活动可能会导致长时间的 fsync 延迟。 这些延迟可能会导致 etcd 丢失心跳，不会及时向磁盘提交新的建议，并最终遇到请求超时和临时丢失问 题。高写入延迟也会导致 OpenShift API 较慢，这会影响集群性能。由于这些原因，请避免在具有 I/O 敏 感或密集型的 control-plane 。 File 在 OS 中作为要挂载的文件系统导出 也称为网络附加存储（Network Attached Storage，NAS） 取决于不同的协议、实现、厂商及范围，其 并行性、延迟、文件锁定机制和其它功能可 能会有很大不同。 RHEL NFS、NetApp NFS [1] 和供应商 NFS 对象 通过 REST API 端点访问 可配置以在 OpenShift 镜像 registry 是虚拟页到物理页映射的小型硬件缓存。如果在硬件指令中包括的虚拟地址可以 在 TLB 中找到，则其映射信息可以被快速获得。如果没有包括在 TLN 中，则称为 TLB miss。系统将会使 用基于软件的，速度较慢的地址转换机制，从而出现性能降低的问题。因为 TLB 的大小是固定的，因此 降低 TLB miss 的唯一方法是增加页的大小。 巨页指一个大于 4Ki 的内存页。在 x86_64 构架中，有两个常见的巨页大小: