6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 6.4. 部署 NUMA 感知辅助 POD 调度程序 6.5. 使用 NUMA 感知调度程序调度工作负载 6.6. 对 NUMA 感知调度进行故障排除 5 章 用于集群更新的拓扑 用于集群更新的拓扑 AWARE LIFECYCLE MANAGER 16.1. 关于 TOPOLOGY AWARE LIFECYCLE MANAGER 配置 16.2. 关于用于 TOPOLOGY AWARE LIFECYCLE MANAGER 的受管策略 16.3. 使用 WEB 控制台安装 TOPOLOGY AWARE LIFECYCLE MANAGER 16.4 4. 使用 CLI 安装 TOPOLOGY AWARE LIFECYCLE MANAGER 16.5. 关于 CLUSTERGROUPUPGRADE CR 16.6. 更新受管集群上的策略 16.7. 使用容器镜像预缓存功能 16.8. 对 TOPOLOGY AWARE LIFECYCLE MANAGER 进行故障排除 第 第 17 章 章 创 创建性能配置集 建性能配置集 17.1. 关于性能配置集创建器

automatic scheduling integration occurs, that is, Kubernetes is not aware of the underlying vSphere topology (sites, affinity groups, NUMA, etc.). ​This session will explain the options to gain better performance improve scheduling ​Using vSphere tags to define regions and zones – add cloud provider ​What is NUMA? ​How to solve potential issues with CPU and memory intensive workloads ​Kubernetes default resource the nodes themselves within vSphere failure domains. 11 What is NUMA? Non Uniform Memory Architecture 12 Why should you care about NUMA? Memory intensive workloads Nearly all database servers (e.g. Oracle

automatic scheduling integration occurs, that is, Kubernetes is not aware of the underlying vSphere topology (sites, affinity groups, NUMA, etc.). This session will explain the options to gain better performance improve scheduling Using vSphere tags to define regions and zones – add cloud provider What is NUMA? How to solve potential issues with CPU and memory intensive workloads Kubernetes default resource the nodes themselves within vSphere failure domains. 11 What is NUMA? Non Uniform Memory Architecture 12 Why should you care about NUMA? Memory intensive workloads Nearly all database servers (e.g. Oracle

IP 地址 分配创建配置。 1.3.9.6. 排除 排除 NUMA 感知 感知调 调度的 度的 SR-IOV 网 网络 络拓扑 拓扑 在这个版本中，您可以将 SR-IOV 网络的 Non-Uniform Memory Access (NUMA)节点公告到拓扑管理 器。如果没有为 SR-IOV 网络公告 NUMA 节点，您可以在 NUMA 感知 pod 调度过程中允许更灵活的 SR- IOV 网络部署。 网络部署。 例如，在某些情况下，最好在单个 NUMA 节点上为 pod 最大化 CPU 和内存资源。如果没有为 Topology Manager 提供有关 pod 的 SR-IOV 网络资源的 NUMA 节点的提示，拓扑管理器可能会将 SR-IOV 网络资 源和 pod CPU 和内存资源部署到不同的 NUMA 节点。在以前的 OpenShift Container Platform 版本 中，Topology 中，Topology Manager 会尝试将所有资源放在同一个 NUMA 节点上。 如需有关在 NUMA 感知 pod 调度过程中更灵活的 SR-IOV 网络部署的更多信息，请参阅为 NUMA 感知调 度排除 SR-IOV 网络拓扑。 1.3.9.7. 更新至 更新至 HAProxy 2.6 在这个版本中，OpenShift Container Platform 更新至 HAProxy 2.6。

eSwitchMode 设置为 legacy 时，会启用默认的 SR-IOV 行为。 当将 eSwitchMode 设置为 switchdev 时，会启用硬件卸载。 可选：要排除将一个 SR-IOV 网络资源的 NUMA 节点广告到拓扑管理器，将值设为 true。默认值为 false。 26.4.1.1. SR-IOV 网络节点配置示例 以下示例描述了 InfiniBand 设备的配置： InfiniBand 接口是从属接口的主接口： 输出示例 26.4.5. 为 NUMA 感知调度排除 SR-IOV 网络拓扑 在 NUMA 感知 pod 调度过程中，可以排除将 SR-IOV 网络的 Non-Uniform Memory Access (NUMA) 节 点广告到拓扑管理器，以便实现更灵活的 SR-IOV 网络部署。 在某些情况下，为在单个 NUMA 节点上的一个 pod 最大化 CPU 和内存资源是一个优先操作。如果没有 SR-IOV 网络资源的 NUMA 节点的提示，拓扑管理器可能会将 SR-IOV 网络资源和 pod CPU 和内存资源部署到不同的 NUMA 节点。这可能会添加到网络延迟，因为需 要在不同 NUMA 节点之间进行数据传输。但是，当工作负载需要最佳 CPU 和内存性能时，这是可以接受 的。 例如，有一个计算节点 compute-1，它有两个 NUMA 节点：numa0 和 numa1。启用了 SR-IOV

… Kube-apiserver Job/JobFlow Queue vc-controller vc-scheduler vsub kubectl Node NUMA GPU Node NUMA GPU … VolcanoGlobal 架构 多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s API Namespace fair-share • Task-topology • IO-Awareness • Resource reservation • SLA • GPU sharing • NUMA-Awareness • HDRF • Hierarchy Queue • Co-location • Elastic scheduling • TDM • Proportional scheduling

12.7.1.2. 基于 InfiniBand 的 SR-IOV 附加的运行时配置 12.7.2. 将 pod 添加到额外网络 12.7.3. 创建与 SR-IOV pod 兼容的非统一内存访问 (NUMA) 12.7.4. 其他资源 12.8. 配置高性能多播 12.8.1. 高性能多播 12.8.2. 为多播配置 SR-IOV 接口 12.9. 在 DPDK 和 RDMA 模式中使用虚拟功能（VF）的示例 的额外网络的状态。注解值保存为纯文本值。 12.7.3. 创建与 SR-IOV pod 兼容的非统一内存访问 (NUMA) 您可以通过限制 SR-IOV 和从相同 NUMA 节点分配的 CPU 资源，使用 restricted 或 single-numa-node Topology Manager 来创建与 SR-IOV pod 兼容的 NUMA。 先决条件 先决条件 已安装 OpenShift CLI（oc）。 您已将 static。有关 CPU Manager 的详情请参考 "Additional resources" 部分。 您已将 Topology Manager 策略配置为 single-numa-node。 注意 注意 当 single-numa-node 无法满足请求时，您可以将拓扑管理器策略配置为 restricted。 流程 流程 1. 创建以下 SR-IOV pod 规格，然后在 -sriov-pod

Container Platform 4.13 虚 虚拟 拟化 化 196 流程 流程 1. 映射计算节点拓扑，以确定为 DPDK 应用程序隔离哪些非统一内存访问 (NUMA) CPU，以及为操 作系统 (OS) 保留哪些非一致性内存访问 (NUMA) CPU。 2. 使用自定义角色标记计算节点的子集，例如 worker-dpdk ： 3. 创建一个新的 MachineConfigPool 清单，其中包含 SriovNetworkNodePolicy 清 清单示例 示例 node-role.kubernetes.io/worker-dpdk: "" numa: topologyPolicy: single-numa-node $ oc get performanceprofiles.performance.openshift.io profile-1 - o=jsonpath='{ 配额被禁用。 此注解指定，容器使用的 CPU 禁用中断请求 (IRQ) 负载均衡。 虚拟机中的插槽数。此字段必须设置为 1，才能从相同的 Non-Uniform Memory Access (NUMA) 节点调度 CPU。 虚拟机中的内核数。这必须大于或等于 1。在本例中，虚拟机被调度有 5 个超线程或 10 个 CPU。 巨页的大小。x86-64 构架的可能值为 1Gi 和 2Mi。在这个示例中，请求大小为

的额外网络的状态。注解值保存为纯文本值。 14.7.3. 创建与 SR-IOV pod 兼容的非统一内存访问 (NUMA) 您可以通过限制 SR-IOV 和从相同 NUMA 节点分配的 CPU 资源，使用 restricted 或 single-numa-node Topology Manager 来创建与 SR-IOV pod 兼容的 NUMA。 先决条件 先决条件 已安装 OpenShift CLI(oc)。 您已将 static。有关 CPU Manager 的详情请参考 "Additional resources" 部分。 您已将 Topology Manager 策略配置为 single-numa-node。 注意 注意 当 single-numa-node 无法满足请求时，您可以将拓扑管理器策略配置为 restricted。 流程 流程 1. 创建以下 SR-IOV pod 规格，然后在 -sriov-pod sample-pod 配置为带有保证 QoS。 4. 确认 sample-pod 被分配了独有的 CPU。 5. 确认为 sample-pod 分配的 SR-IOV 设备和 CPU 位于相同的 NUMA 节点上。 14.7.4. 其他资源 配置 SR-IOV 以太网网络附加 配置 SR-IOV InfiniBand 网络附加 apiVersion: v1 kind: Pod metadata:

内核，而对另一个 CPU 内核的网络中断往往会提高网络性能。在相同 的非统一内存访问(NUMA)节点上具有进程和中断，有助于通过确保共享的 L3 缓存来避免内存访问。但 是，公共云环境中通常无法进行这种级别的控制。在裸机主机上，irqbalance 会自动处理外围组件互连 (PCI)本地化，以及用于中断请求行(IRQ)的 NUMA 关联性。在云环境中，此类信息通常不提供给操作系 统。 CPU 固定通过 taskset