6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 6.4. 部署 NUMA 感知辅助 POD 调度程序 6.5. 使用 NUMA 感知调度程序调度工作负载 6.6. 对 NUMA 感知调度进行故障排除 5 章 用于集群更新的拓扑 用于集群更新的拓扑 AWARE LIFECYCLE MANAGER 16.1. 关于 TOPOLOGY AWARE LIFECYCLE MANAGER 配置 16.2. 关于用于 TOPOLOGY AWARE LIFECYCLE MANAGER 的受管策略 16.3. 使用 WEB 控制台安装 TOPOLOGY AWARE LIFECYCLE MANAGER 16.4 4. 使用 CLI 安装 TOPOLOGY AWARE LIFECYCLE MANAGER 16.5. 关于 CLUSTERGROUPUPGRADE CR 16.6. 更新受管集群上的策略 16.7. 使用容器镜像预缓存功能 16.8. 对 TOPOLOGY AWARE LIFECYCLE MANAGER 进行故障排除 第 第 17 章 章 创 创建性能配置集 建性能配置集 17.1. 关于性能配置集创建器

automatic scheduling integration occurs, that is, Kubernetes is not aware of the underlying vSphere topology (sites, affinity groups, NUMA, etc.). ​This session will explain the options to gain better performance improve scheduling ​Using vSphere tags to define regions and zones – add cloud provider ​What is NUMA? ​How to solve potential issues with CPU and memory intensive workloads ​Kubernetes default resource the nodes themselves within vSphere failure domains. 11 What is NUMA? Non Uniform Memory Architecture 12 Why should you care about NUMA? Memory intensive workloads Nearly all database servers (e.g. Oracle

IP 地址 分配创建配置。 1.3.9.6. 排除 排除 NUMA 感知 感知调 调度的 度的 SR-IOV 网 网络 络拓扑 拓扑 在这个版本中，您可以将 SR-IOV 网络的 Non-Uniform Memory Access (NUMA)节点公告到拓扑管理 器。如果没有为 SR-IOV 网络公告 NUMA 节点，您可以在 NUMA 感知 pod 调度过程中允许更灵活的 SR- IOV 网络部署。 网络部署。 例如，在某些情况下，最好在单个 NUMA 节点上为 pod 最大化 CPU 和内存资源。如果没有为 Topology Manager 提供有关 pod 的 SR-IOV 网络资源的 NUMA 节点的提示，拓扑管理器可能会将 SR-IOV 网络资 源和 pod CPU 和内存资源部署到不同的 NUMA 节点。在以前的 OpenShift Container Platform 版本 中，Topology 中，Topology Manager 会尝试将所有资源放在同一个 NUMA 节点上。 如需有关在 NUMA 感知 pod 调度过程中更灵活的 SR-IOV 网络部署的更多信息，请参阅为 NUMA 感知调 度排除 SR-IOV 网络拓扑。 1.3.9.7. 更新至 更新至 HAProxy 2.6 在这个版本中，OpenShift Container Platform 更新至 HAProxy 2.6。

量无法 得到有效保障。openEuler 面向云原生业务混部场景，创新 CPU 调度算法和内存回收算法，支撑提升系统的 CPU 利用率 和保证在线业务的服务质量。 QAS（Quality Aware Scheduler）是一种适用于云原生场景，业务混合部署的全新调度算法，可以确保在线任务对 CPU 的快速抢占，确定性的调度运行，同时控制离线任务干扰。 优化 OOM 时内存回收调度算法，在发生 • 支持 ZGC 垃圾回收算法（毕昇 JDK11）：在 ARM64 上补齐该功能。支持 TB 级大小，最大 10ms 时延，停顿时间 不会随着堆增大而增大。 • G1GC 支持 NUMA-Aware 特性（毕昇 JDK8 和 毕昇 JDK11）：JVM 能充分发挥硬件特性，在应用运行进行对象分 配会优先选择使用本地节点的内存，在垃圾回收进行内存复制时优先在同一节点进行，保证垃圾回收后应用的数据 代码中冗余内存屏障等。在大数据应用的基准测试性能较 OpenJDK 有 5%~20% 的性能提升。 应用场景 2：常见 Java 应用 针对鲲鹏服务器的弱内存模型进行优化，无效内存屏障，软硬结合使能 NUMA-Aware 特性，提高应用访问内存的效率， 提升应用性能。增强 Java 开发者工具、引入 JFR 支持和 JMap 优化等功能帮助开发者快速分析性能、定位故障。 鲲鹏 UADK 鲲鹏 UADK

Scheduler optimization: The optimized fairness of Completely Fair Scheduler (CFS) tasks and the NUMA-aware asynchronous call mechanism combine to bring a significant improvement in NVDIMM initialization prioritized tasks and reduce interference to other tasks. openEuler 21.03 also has an optimized NUMA balancing mechanism, which brings better affinity, higher utilization, and fewer invalid migrations new feature, we may need to restart the service and host. As a result, the service client will be aware of the service interruption. To avoid the service interruption, we can choose the live kernel upgrade

20 多项性能与功能提升： 1. 支持调度器优化：优化 CFS Task 的公平性，新增 NUMA-Aware 异步调用机制，在 NVDIMM 初始 化方面有明显的提升；优化 SCHED_IDLE 的调度 策略，可以显著改善高优先级任务的调度延迟， 降低对其他任务的干扰。优化 NUMA balancing 机制，带来更好的亲和性、更高的使用率和更少 的无效迁移。 2. CPU • 支持 ZGC 垃圾回收算法（毕昇 JDK 11）：在 ARM64 上补齐该功能。支持 TB 级大小，最大 10ms 时延，停顿时 间不会随着堆增大而增大。 • G1GC 支持 NUMA-Aware 特性（毕昇 JDK11）： JVM 能充分发挥硬件特性，在应用运行进行对象分配会优先选 择使用本地节点的内存，在垃圾回收进行内存复制时优先在同一节点进行，保证垃圾回收后应用的数据亲和性。 通过动态的释放 策略保证内存使用平滑变化。 应用场景 3：鲲鹏服务器的 Java 应用 毕昇 JDK 针对鲲鹏服务器的弱内存模型进行优化，无效内存屏障。充分利用硬件性能，在 G1GC 引入 NUMA-Aware 特 性，提高应用访问内存的效率。提供和增强 Java 开发者工具、引入 JFR 支持和 JMap 优化等功能帮助开发者快速分析性 能、定位故障。 24 25 openEuler 21

的行为不兼容性的问题 #42439 @qw4990 – 修复 Plan Cache 导致 Decimal 类型的结果出错的问题 #43311 @qw4990 – 修复 NAAJ (null-aware anti join) 中错误的类型检查导致 TiDB panic 的问题 #42459 @AilinKid – 修复 RC 隔离级别下悲观事务中执行失败的 DML 可能导致数据索引不一致的问题 TiUP 1.5.0 及以上 注意： 中控机需要部署TiUP 软件来完成 TiDB 集群运维管理。 5.1.2.2 目标主机建议配置软件 软件 版本 sshpass 1.06 及以上 numa 2.0.12 及以上 tar 任意 466 5.1.3 服务器建议配置 TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器平台或者 ARM 架构的硬件服务器平台。对于开 少，设置得过小，可能会导致内存的申请速度超过后台的回收速度，进而导致内存 回收并引起内存分配延迟。 • 建议将 vm.min_free_kbytes 最小设置为 1048576 KiB（即 1 GiB）。如果安装了 NUMA， 建议设置为 NUMA 节点个数 * 1048576 KiB。 • 对于内存小于 16 GiB 的小规格服务器，保持 vm.min_free_kbytes 的默认值即可。 480 10. 执行以下命令配置用户的

TiUP 1.5.0 及以上 注意： 中控机需要部署TiUP 软件来完成 TiDB 集群运维管理。 5.1.2.2 目标主机建议配置软件 软件 版本 sshpass 1.06 及以上 numa 2.0.12 及以上 tar 任意 5.1.3 服务器建议配置 TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器平台或者 ARM 架构的硬件服务器平台。对于开 少，设置得过小，可能会导致内存的申请速度超过后台的回收速度，进而导致内存 回收并引起内存分配延迟。 • 建议将 vm.min_free_kbytes 最小设置为 1048576 KiB（即 1 GiB）。如果安装了 NUMA， 建议设置为 NUMA 节点个数 * 1048576 KiB。 • 对于内存小于 16 GiB 的小规格服务器，保持 vm.min_free_kbytes 的默认值即可。 10. 执行以下命令配置用户的 tidb]# 5.2.8 安装 numactl 工具 本段主要介绍如何安装 NUMA 工具。在生产环境中，因为硬件机器配置往往高于需求，为了更合理规划资源， 会考虑单机多实例部署 TiDB 或者 TiKV。NUMA 绑核工具的使用，主要为了防止 CPU 资源的争抢，引发性能衰退。 注意： 482 • NUMA 绑核是用来隔离 CPU 资源的一种方法，适合高配置物理机环境部署多实例使用。

TiUP 1.5.0 及以上 注意： 中控机需要部署TiUP 软件来完成 TiDB 集群运维管理。 5.1.2.2 目标主机建议配置软件 软件 版本 sshpass 1.06 及以上 numa 2.0.12 及以上 tar 任意 451 5.1.3 服务器建议配置 TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器平台或者 ARM 架构的硬件服务器平台。对于开 少，设置得过小，可能会导致内存的申请速度超过后台的回收速度，进而导致内存 回收并引起内存分配延迟。 • 建议将 vm.min_free_kbytes 最小设置为 1048576 KiB（即 1 GiB）。如果安装了 NUMA， 建议设置为 NUMA 节点个数 * 1048576 KiB。 • 对于内存小于 16 GiB 的小规格服务器，保持 vm.min_free_kbytes 的默认值即可。 465 10. 执行以下命令配置用户的 tidb]# 466 5.2.8 安装 numactl 工具 本段主要介绍如何安装 NUMA 工具。在生产环境中，因为硬件机器配置往往高于需求，为了更合理规划资源， 会考虑单机多实例部署 TiDB 或者 TiKV。NUMA 绑核工具的使用，主要为了防止 CPU 资源的争抢，引发性能衰退。 注意： • NUMA 绑核是用来隔离 CPU 资源的一种方法，适合高配置物理机环境部署多实例使用。 • 通过

TiUP 1.5.0 及以上 注意： 中控机需要部署TiUP 软件来完成 TiDB 集群运维管理。 5.1.2.2 目标主机建议配置软件 软件 版本 sshpass 1.06 及以上 numa 2.0.12 及以上 tar 任意 5.1.3 服务器建议配置 TiDB 支持部署和运行在 Intel x86-64 架构的 64 位通用硬件服务器平台或者 ARM 架构的硬件服务器平台。对于开 1 tidb]# 5.2.8 安装 numactl 工具 本段主要介绍如何安装 NUMA 工具。在生产环境中，因为硬件机器配置往往高于需求，为了更合理规划资源， 会考虑单机多实例部署 TiDB 或者 TiKV。NUMA 绑核工具的使用，主要为了防止 CPU 资源的争抢，引发性能衰退。 注意： • NUMA 绑核是用来隔离 CPU 资源的一种方法，适合高配置物理机环境部署多实例使用。 • 通过 exec 命令来进行集群级别管理工 作。 安装 NUMA 工具有两种方法： 方法 1：登录到目标节点进行安装（以 CentOS Linux release 7.7.1908 (Core) 为例）。 sudo yum -y install numactl 478 方法 2：通过 tiup cluster exec 在集群上批量安装 NUMA。 1. 使用 TiUP 安装 TiDB 集群，参考使用