Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效，无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 （多版本机制） （两阶段导入） 事务能力保证 使用案例 04 BI Application 数据加载

大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 应用与开发 Java 内存模型与分配机制 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 September 30, 2018 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 学习目标 1. 理解 JVM 内存模型，掌握 JVM 内存构成 2 Java 程序内存运行分析 Java 内存管理建议 大纲 Java 内存模型 Java 程序内存运行分析 Java 内存管理建议 Java 垃圾回收机制 JVM 的垃圾回收机制（GC）决定对象是否是垃圾对象，并进行 回收。 O 垃圾回收机制的特点 ▶ 垃圾内存并不是用完了马上就被释放，所以会产生内存释放 不及时的现象，从而降低内存的使用效率。而当程序庞大的 时候，这种现象更为明显。 ▶

Nacos 寻址机制 56 Nacos 服务发现模块 63 Nacos 注册中心的设计原理 63 Nacos 注册中心服务数据模型 80 Nacos 健康检查机制 89 Nacos 配置管理模块 97 配置⼀致性模型 97 Nacos ⾼可⽤设计 100 Nacos 高可用设计 100 Nacos 鉴权插件 103 Nacos 账号权限体系 103 Nacos 认证机制 110 Nacos 19 > Nacos 架构 内核层  插件机制：实现三个模块可分可合能力，实现扩展点 SPI 机制，用于扩展自己公司定制。  事件机制：实现异步化事件通知，SDK 数据变化异步通知等逻辑，是 Nacos 高性能的关键部分。  日志模块：管理日志分类，日志级别，日志可移植性（尤其避免冲突），日志格式，异常码+帮 助文档。  回调机制：SDK 通知数据，通过统⼀的模式回调用户处理。接口和数据结构需要具备可扩展性。 容量管理：管理每个租户，分组下的容量，防止存储被写爆，影响服务可用性。  流量管理：按照租户，分组等多个维度对请求频率，长链接个数，报文大小，请求流控进行控制。  缓存机制：容灾目录，本地缓存，Server 缓存机制，是 Nacos 高可用的关键。  启动模式：按照单机模式，配置模式，服务模式，DNS 模式模式，启动不同的模块。  ⼀致性协议：解决不同数据，不同⼀致性要求情况下，不同⼀致性要求，是

1.2 生产环境中，autoCreateTopicEnable 为什么不能设置为 true 18 1.3 实战：RocketMQ 学习环境搭建指南篇 28 1.4 RocketMQ HA 核心工作机制 39 1.5 踩坑记：rocketmq-console 消费 TPS 为 0，但消息积压数却在降低是个什么 “鬼” 49 1.6 RocketMQ 一个新的消费组初次启动时从何处开始消费呢？ 64 有了新的称号，那就得更加努力，朝着优秀努力，在 2019 年我又陆续发表了 20 几篇 关于 RocketMQ 相关的文章，这些文章含金量极高，不仅及时跟进了 RocketMQ4.3.0 之后的新特性：消息轨迹、ACL、主从切换等机制，更是发表了数篇实战类文章，详细指 出在生产环境下一些使用误区，更是输出了几篇生产环境真实故障与解决方案。最终于 20 19 年 RocketMQ 官方社区授予我优秀布道师荣誉称号。 RocketMQ 中，主服务承担读写操作，从服务器作为一个备份，当主服务器存 在压力时，从服务器可以承担读服务（消息消费）。所有 Broker，包含 Slave 服务器每隔 30s 会向 Nameserver 发送心跳包，心跳包中会包含存在在 Broker 上所有的 topic 的路 由信息。 本文来自『中间件兴趣圈』公众号，仅作技术交流，未授权任何商业行为。 11 > 1.1 RocketMQ 核心概念扫盲篇

........................................................................................ 29 9.2 心跳处理 ................................................................................................ 在吐 Consumer 投递成功消息后，消息仍然需要保留。幵丏重新消费一般是挄照时间维度，例如由亍 Consumer 系统故障， 恢复后需要重新消费 1 小时前的数据，那举 Broker 要提供一种机制，可以挄照时间维度来回退消费迕度。 RocketMQ 支持挄照时间回溯消费，时间维度精确到毫秒，可以吐前回溯，也可以吐后回溯。 4.12 消息堆积 消息中间件的主要功能是异步解耦，迓有个 可避免的产生巨大性能开销。 RocketMQ 支持定时消息，但是丌支持任意时间精度，支持特定的 level，例如定时 5s，10s，1m 等。 4.15 消息重试 Consumer 消费消息失败后，要提供一种重试机制，令消息再消费一次。Consumer 消费消息失败通常可以讣为 有以下几种情冴 1. 由亍消息本身的原因，例如反序列化失败，消息数据本身无法处理（例如话费充值，当前消息的手机号被 项目开源主页：https://github

特性，提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能，提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制，提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维，降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI control. �→ enable 新增 表示是否开启 TiKV 流量控制 机制。默认值 为 true。 TiKV 配置文件 storage.flow- �→ control. �→ memtables- �→ threshold 新增 当 KvDB 的 memtable 的个 数达到该阈值 时，流控机制 开始工作。默 认值为 5。 TiKV 配置文件 storage.flow- �→ 件个数达到该 阈值时，流控 机制开始工作。 默认值为 9。 28 配置文件 配置项 修改类型 描述 TiKV 配置文件 storage.flow- �→ control. �→ soft- �→ pending- �→ compaction �→ -bytes- �→ limit 新增 当 KvDB 的 pending compaction bytes 达到该阈值时， 流控机制开始 拒绝部分写入

部分列统计信息的方案，提高宽表收集统计信息的速度 • TiKV – 增强磁盘空间防护能力，提升存储稳定性。 针对 TiKV 遇到磁盘写满错误时可能 Panic 的问题，为磁盘剩余空间引入两级阈值防御机制，避免超 额流量耗尽磁盘空间。同时，提供阈值触发时的空间回收能力。当剩余空间触发阈值时，部分写 操作会失败，并返回 disk full 错误和盘满节点列表。此时，可以通过 Drop/Truncate 命令是为了在不重启的情况下使配置生效。 90 4.2.3 检测及关闭目标部署机器的防火墙 本段介绍如何关闭目标主机防火墙配置，因为在 TiDB 集群中，需要将节点间的访问端口打通才可以保证读写 请求、数据心跳等信息的正常的传输。在普遍线上场景中，数据库到业务服务和数据库节点的网络联通都是 在安全域内完成数据交互。如果没有特殊安全的要求，建议将目标节点的防火墙进行关闭。否则建议按照端 口使用规则，将端口信息配置到防火墙服务的白名单中。 注意： • vm.min_free_kbytes 是 Linux 内核的一个参数，用于控制系统预留的最小空闲内存量， 单位为 KiB。 • vm.min_free_kbytes 的设置会影响内存回收机制。设置得过大，会导致可用内存变 少，设置得过小，可能会导致内存的申请速度超过后台的回收速度，进而导致内存 回收并引起内存分配延迟。 • 建议将 vm.min_free_kbytes 最小设置为 1048576

用户文档，#21094 • 默认开启 Hibernate Region 特性。 如果 Region 长时间处于非活跃状态，即被自动设置为静默状态，可以降低 Leader 和 Follower 之间心跳信 息的系统开销。 用户文档，#10266 2.2.2.4 稳定性 • TiCDC 复制稳定性问题解决 – 改善 TiCDC 内存使用，避免在以下场景出现 OOM * 同步中断期间积累大量数据，超过 调度器后出现的非预期统计行为 #3602 – 解决扩缩容过程中出现的多个调度问题 * 优化副本 snapshot 生成流程，解决扩缩容调度慢问题：#3563 #10059 #10001 * 解决由于流量变化引带来的心跳压力引起的调度慢问题 #3693 #3739 #3728 #3751 * 减少大集群由于调度产生的空间差异问题，并优化调度公式防止由于压缩率差异大引发的类 似异构空间集群的爆盘问题 #3592 #10005 命令是为了在不重启的情况下使配置生效。 4.2.3 检测及关闭目标部署机器的防火墙 本段介绍如何关闭目标主机防火墙配置，因为在 TiDB 集群中，需要将节点间的访问端口打通才可以保证读写 请求、数据心跳等信息的正常的传输。在普遍线上场景中，数据库到业务服务和数据库节点的网络联通都是 在安全域内完成数据交互。如果没有特殊安全的要求，建议将目标节点的防火墙进行关闭。否则建议按照端 口使用规则，将端口信息配置到防火墙服务的白名单中。

热升级，并进行质量可靠性保证，在升级失败后保证回滚到旧内核上。 2. 业务进程保存：利用系统 Checkpoint 保存业务进程和资源状态，保证系统业务状态与资源的一致性。 3. 新内核加载：利用系统 Kexec 机制实现新内核的快速加载，保证端到端业务秒级恢复。 4. 业务进程恢复：利用系统 Restore 技术对已保存的业务状态与资源进行恢复。 应用场景 应用场景 1： 内核 CVE 修复 典型应用程序（如 Task 的公平性，新增 NUMA-Aware 异步调用机制，在 NVDIMM 初始 化方面有明显的提升；优化 SCHED_IDLE 的调度 策略，可以显著改善高优先级任务的调度延迟， 降低对其他任务的干扰。优化 NUMA balancing 机制，带来更好的亲和性、更高的使用率和更少 的无效迁移。 2. CPU 隔离机制增强：支持中断隔离，支持 unbound kthreads 制优化，解决唤醒多个等待线程的性能问题。 4. 内存管理增强：优化内存初始化、内存控制、统 计、异构内存、热插拔等功能，并提供更有效的 用户控制接口。热点锁及信号量优化，激进内存 和碎片整理，优化 VMAP、vmalloc 机制，显著 提升内存申请效率。KASAN、kmemleak、slub_ debug、OOM 等内存维测特性增强，提升定位和 解决内存问题的效率。 5. cgroup 优化单线程迁移性能：消除对

效、可靠、安全的并行计算和可平行扩展的能力。这帮助开发者能够灵活地根据自己业务场景的 实际需要，通过简单增加机器，达到自己需要的性能。总体上，FISCO BCOS平台优化了网络通信 模型，采用拜占庭容错共识机制，结合多链架构和跨链交互方案，可解决并发访问和热点账户的 性能痛点，从而满足金融级高频交易场景需求。 • 在安全性方面，FISCO BCOS 平台通过节点准入控制、可靠的密钥管理、灵活的权限控制，在应 FISCO BCOS Documentation, 发 发 发布 布 布 v2.2.0 2.3 并 并 并行 行 行计 计 计算 算 算模 模 模型 型 型 2.0版本中新增了合约交易的并行处理机制，进一步提升了合约的并发吞吐量。 1.0版本以及大部分业界传统区块链平台，交易是被打包成一个区块，在一个区块中交易顺序串行执行 的。 2.0版本基于预编译合约，实现一套并行交易处理模型，基于这个模型可以自定义交易互斥变量。 0版本对准入机制进行了重塑升级，包括网络准入机制和群组准入机制，在不同维度对链和数据访问进 行安全控制。 采用新的权限控制体系，基于表进行访问权限的设计，另外还支持CA黑名单机制，可以实现对作恶/故 障节点的屏蔽。 详情请查看准入机制设计文档 2.10 异 异 异步 步 步事 事 事件 件 件 2.0版本同时支持交易上链异步通知、区块上链异步通知以及自定义的AMOP消息通知等机制。 2.11