Kubernetes 运行大数据工作负 载的探索和实践 Leibo Wang(wang.platform@Hotmail.com) Huawei CloudBU Principal Engineer 王雷博 Principal Software Engineer • Huawei(Now) - Cloud Native batch system (Volcano) development

一个崭新的世界 趋势 • 智能设备越来越多 • 手机、电脑、Pad、TV、盒子、Watch、AirPods 、音箱、空气净化器、 净水器 • 人迁就机器  机器迁就人 • GUI的孤独感、CUI的幸福感 对话交互的价值：在哪儿/在那儿 • 行业早期，价值待验证 • “能帮我把转化率提升50%吗？” • 需求界定师：砍掉不合实际的需求 • “能不能把我的销售、客服全换成机器人？” • “

合这些需求的工具和工作流程，所以我 们不得不自行组装。我们在 16.5节 中详细描述了我们的方法。我们选择GitHub来共享源代码并允许编辑，选 择Jupyter记事本来混合代码、公式和文本，选择Sphinx作为渲染引擎来生成多个输出，并为论坛提供讨论。 虽然我们的体系尚不完善，但这些选择在相互冲突的问题之间提供了一个很好的妥协。我们相信，这可能是 第一本使用这种集成工作流程出版的书。 1 在实践中学习 许多教科书教授一系列的主题，每一个都非常详细。例如，Chris Bishop的优秀教科书 (Bishop, 2006) ，对每 个主题都教得很透彻，以至于要读到线性回归这一章需要大量的工作。虽然专家们喜欢这本书正是因为它的 透彻性，但对初学者来说，这一特性限制了它作为介绍性文本的实用性。 在这本书中，我们将适时教授大部分概念。换句话说，你将在实现某些实际目的所需的非常时刻学习概念。 都介绍了适量的新概念，并提供可独立工 作的例子——使用真实的数据集。这带来了组织上的挑战。某些模型可能在逻辑上组合在单节中。而一些想 法可能最好是通过连续允许几个模型来传授。另一方面，坚持“一个工作例子一节”的策略有一个很大的好 处：这使你可以通过利用我们的代码尽可能轻松地启动你自己的研究项目。只需复制这一节的内容并开始修 改即可。 我们将根据需要将可运行代码与背景材料交错。通常，在充分

OPERATOR 1.0.2 发行注记 2.8. 已知限制 第 第 3 章 章 了解 了解 WINDOWS 容器工作 容器工作负载 负载 3.1. WINDOWS 工作负载管理 3.2. WINDOWS 节点服务 3.3. 已知限制 第 第 4 章 章 启 启用 用 WINDOWS 容器工作 容器工作负载 负载 先决条件 4.1. 安装 WINDOWS MACHINE CONFIG OPERATOR 5.2.3. 创建机器集 5.2.4. 其他资源 第 第 6 章 章 调 调度 度 WINDOWS 容器工作 容器工作负载 负载 先决条件 6.1. WINDOWS POD 放置 其他资源 6.2. 创建 RUNTIMECLASS 对象来封装调度机制 6.3. WINDOWS 容器工作负载部署示例 6.4. 手动扩展机器集 第 第 7 章 章 WINDOWS 节 节点升 点升级 级 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第 第 9 章 章 禁用 禁用 WINDOWS 容器工作 容器工作负载 负载 9.1. 卸载 WINDOWS MACHINE CONFIG OPERATOR 9.2. 删除 WINDOWS MACHINE CONFIG OPERATOR 命名空间 其他资源

已知限制 第 第 3 章 章 了解 了解 WINDOWS 容器工作 容器工作负载 负载 3.1. WINDOWS MACHINE CONFIG OPERATOR 的先决条件 3.2. WINDOWS 工作负载管理 3.3. WINDOWS 节点服务 3.4. 已知限制 第 第 4 章 章 启 启用 用 WINDOWS 容器工作 容器工作负载 负载 先决条件 4.1. 安装 WINDOWS MACHINE 3. 在 VSPHERE 上创建 WINDOWS 机器集 第 第 6 章 章 调 调度 度 WINDOWS 容器工作 容器工作负载 负载 先决条件 6.1. WINDOWS POD 放置 6.2. 创建 RUNTIMECLASS 对象来封装调度机制 6.3. WINDOWS 容器工作负载部署示例 6.4. 手动扩展机器集 第 第 7 章 章 WINDOWS 节 节点升 点升级 级 7.1. WINDOWS 删除 BYOH WINDOWS 实例 第 第 9 章 章 删 删除 除 WINDOWS 节 节点 点 9.1. 删除一个特定的机器 第 第 10 章 章 禁用 禁用 WINDOWS 容器工作 容器工作负载 负载 10.1. 卸载 WINDOWS MACHINE CONFIG OPERATOR 10.2. 删除 WINDOWS MACHINE CONFIG OPERATOR 命名空间 3

第 第 6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 6.4. 部署 NUMA 感知辅助 POD 调度程序 6.5. 使用 NUMA 感知调度程序调度工作负载 6.6. 对 NUMA 感知调度进行故障排除 14.1. 了解低延迟 14.2. 安装 PERFORMANCE ADDON OPERATOR 14.3. 升级 PERFORMANCE ADDON OPERATOR 14.4. 置备实时和低延迟工作负载 14.5. 使用性能配置集调整节点以实现低延迟 14.6. 使用 PERFORMANCE ADDON OPERATOR 减少 NIC 队列 14.7. 调试低延迟 CNF 调整状态 14 17 章 章 创 创建性能配置集 建性能配置集 17.1. 关于性能配置集创建器 17.2. 其他资源 第 第 18 章 章 单节 单节点 点 OPENSHIFT 上的工作 上的工作负载 负载分区 分区 18.1. 使用工作负载分区最大化 CPU 分配 第 第 19 章 章 处 处于 于边缘 边缘网 网络 络的集群 的集群 19.1. 网络边缘的挑战 19.2. 为 ZTP 准备 HUB

POWER SYSTEMS、IBM Z 和 LINUXONE 上使用服务绑定 6.6. 从服务公开绑定数据 6.7. 投射绑定数据 6.8. 使用 SERVICE BINDING OPERATOR 绑定工作负载 6.9. 使用 DEVELOPER 视角将应用程序连接到服务 第 第 7 章 章 使用 使用 HELM CHART 7.1. 了解 HELM 7.2. 安装 HELM 7.3. 配置自定义 使用。作为集群管理员，您可以选择闲置这些可 扩展资源来减少资源消耗。 1.2.3. 将应用程序连接到服务 应用程序使用后端服务来构建和连接工作负载，这因服务提供商而异。使用 Service Binding Operator 作 为开发人员，您可以将工作负载与 Operator 管理的后端服务绑定在一起，而无需手动步骤配置绑定连 接。您还可以在 IBM Power Systems、IBM Z 和 t。您不能使用这些 命名空间用来运行 pod 或服务。 先决条件 先决条件 在 OpenShift Container Platform 中，确保您有适当的角色和权限来创建项目、应用程序和其他 工作负载。 流程 流程 您可以使用 Developer 视角创建项目，如下所示： 1. 点 Project 下拉菜单来查看所有可用的项目。选择 Create Project。 图 图 2.1. Create

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9 开始前的准备工作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18 非工作时间支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . re 可以更有效地与您所在的组织协同解决技术及合同问题。 对于每种协议，我们都定义了以下两种类型的客户联系人： 支持管理员：支持管理员负责提交支持请求 (SR) 并与 VMware 支持代表协同工作。可以指派的支持 管理员的人数由您选择的支持级别所决定。对于免费支持，客户只有在注册产品后才能提交 SR。 许可证管理员：许可证管理员负责接收和管理软件产品许可证、VMware 的更新及升级，并且是续订

POWER SYSTEMS、IBM Z 和 LINUXONE 上使用服务绑定 5.6. 从服务公开绑定数据 5.7. 投射绑定数据 5.8. 使用 SERVICE BINDING OPERATOR 绑定工作负载 5.9. 使用 DEVELOPER 视角将应用程序连接到服务 第 第 6 章 章 使用 使用 HELM CHART 6.1. 了解 HELM 6.2. 安装 HELM 6.3. 配置自定义 使用。作为集群管理员，您可以选择闲置这 些可扩展资源来减少资源消耗。 1.2.3. 将应用程序连接到服务 应用程序使用后端服务来构建和连接工作负载，这因服务提供商而异。使用 Service Binding Operator 作 为开发人员，您可以将工作负载与 Operator 管理的后端服务绑定在一起，而无需手动步骤配置绑定连 接。您还可以在 IBM Power Systems、IBM Z 和 nshift。您不能使用这些 命名空间用来运行 pod 或服务。 先决条件 在 OpenShift Container Platform 中，确保您有适当的角色和权限来创建项目、应用程序和其他 工作负载。 流程 流程 您可以使用 Developer 视角创建项目，如下所示： 1. 点 Project 下拉菜单来查看所有可用的项目。选择 Create Project。 图 2.1. Create

OpenShift Service Mesh 通过在应用程序中创建集中控制点来解决微服务架构中的各种问题。它 在现有分布式应用上添加一个透明层，而无需对应用代码进行任何更改。 微服务架构将企业应用的工作分成模块化服务，从而简化扩展和维护。但是，随着微服务架构上构建的企 业应用的规模和复杂性不断增长，理解和管理变得困难。Service Mesh 可以通过捕获或截获服务间的流量 来解决这些架构问题，并可修改、重定向或创建新请求到其他服务。 OSSM-1168 当以单个 YAML 文件形式创建服务网格资源时，Envoy proxy sidecar 不会可靠地注 入 pod。当单独创建 SMCP、SMMR 和 Deployment 资源时，部署可以正常工作。 OSSM-1052 在为服务网格 control plane 中为 ingressgateway 配置 Service ExternalIP 时，不会 创建该服务。SMCP 的 schema 缺少该服务的参数。 上部署的网格不兼容。 MAISTRA-1959 迁移到 2.0 Prometheus 提取（spec.addons.prometheus.scrape 设置为 true）在启用 mTLS 时无法正常工作。另外，当禁用 mTLS 时，Kiali 会显示无关的图形数据。 可通过将端口 15020 从代理配置中排除来解决这个问题，例如： MAISTRA-1314 Red Hat OpenShift Service