TiDB Operator: Design & Implemention Presented by Yecheng Fu (@cofyc) PingCAP.com Agenda ● TiDB Operator 简介 ● 扩展 Kubernetes 的几种方式 ● TiDB Operator 实现 TiDB Operator 是什么 PingCAP.com Cloud Native Scaling - Handle network, hardware failures, etc. - Backup/Restore/Data migration - ... TiDB Operator TiDB PingCAP.com Kubernetes Pattern - Declarative Model - 用户描述自己的期望，提交给 Kubernetes API Server implemented TiDB Operator Kubernetes Pattern - Declarative Model PingCAP.com Operator Pattern - Extending Kubernetes TiDB Operator TiDB PD API Kubernetes API PingCAP.com Operator Pattern - Custom

Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 从被收购到卷王（si） 回到初（qi）心（dian） KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 TPR Operator CRD Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR； controller-runtime

INGRESS OPERATOR 2.3. OPENSHIFT CONTAINER PLATFORM 网络的常见术语表 第 第 3 章 章 访问 访问主机 主机 3.1. 访问安装程序置备的基础架构集群中 AMAZON WEB SERVICES 上的主机 第 第 4 章 章 网 网络 络 OPERATOR 概述 概述 4.1. CLUSTER NETWORK OPERATOR 4.2. DNS DNS OPERATOR 4.3. INGRESS OPERATOR 4.4. 外部 DNS OPERATOR 4.5. INGRESS NODE FIREWALL OPERATOR 4.6. NETWORK OBSERVABILITY OPERATOR 第 第 5 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 CLUSTER NETWORK OPERATOR 5 5.1. CLUSTER NETWORK OPERATOR 5.2. 查看集群网络配置 5.3. 查看 CLUSTER NETWORK OPERATOR 状态 5.4. 查看 CLUSTER NETWORK OPERATOR 日志 5.5. CLUSTER NETWORK OPERATOR 配置 5.6. 其他资源 第 第 6 章 章 OPENSHIFT CONTAINER PLATFORM 中的

control plane 和计算节点的磁盘类型和大小 1.2.2.9. 对于 Azure 安装，增加了 control plane 节点的最小磁盘大小 1.2.2.10. 集群升级前所需的 Operator 的最新版本 1.2.2.11. 没有置备网络的部署 1.2.2.12. 部署现在支持 root 设备 hints 1.2.2.13. 安装程序的改进 1.2.2.14. 安装时选择 RHOSP 使用安装程序置备的基础架构为裸机部署改进修复失败的节点 1.2.3. 安全性与合规性 1.2.3.1. Compliance Operator 1.2.3.2. 配置 OAuth 令牌不活跃超时 1.2.3.3. 安全 OAuth 令牌存储格式 1.2.3.4. File Integrity Operator 现已正式发布 1.2.3.5. 对集群恢复失败使用的集群脚本已被更新 1.2.4. 机器 API 1 18 目 目录 录 1 1.2.5.1. 改进了 Web 控制台的升级体验 1.2.5.2. 改进了使用 OperatorHub 的 Operator 安装工作流 1.2.5.3. 改进了操作对象详情视图 1.2.5.4. 查看集群 Operator 的相关对象 1.2.5.5. 编辑受管资源时的警告信息 1.2.5.6. k8sResourcePrefix specDescriptor

Cluster Version Operator (CVO) 的自定义资源 (CR) 时，更新开始。要将集群与新指定版本协调，CVO 从镜像 registry 检索目标发行镜像，并开始将更改应 用到集群。 注意 注意 之前通过 Operator Lifecycle Manager (OLM) 安装的 Operator 会遵循不同的更新过程。 如需更多信息，请参阅更新安装的 Operator。 目标发行镜像包含组成特定 的独立阶段应用清单。大多数（但不是全部清单）支持其中一个集群 Operator。当 CVO 将清单应用到集群 Operator 时，Operator 可能会执行更新任务将其与新的指定版本协调。 CVO 监控每个应用的资源的状态，以及所有集群 Operator 报告的状态。只有活跃 Runlevel 中的所有清 单和集群 Operator 都达到稳定条件时，CVO 才会继续更新。在 CVO 通过此过程更新整个 通过此过程更新整个 control plane 后，Machine Config Operator (MCO) 会更新集群中每个节点的操作系统和配置。 1.1.1. 有关更新可用性的常见问题 OpenShift Container Platform 集群使用更新时，有几个因素会影响到 OpenShift Container Platform 集 群。以下列表提供有关更新可用性的常见问题： 每个更新 每个更新频

INGRESS OPERATOR 1.3. OPENSHIFT CONTAINER PLATFORM 网络的常见术语表 第 第 2 章 章 访问 访问主机 主机 2.1. 访问安装程序置备的基础架构集群中 AMAZON WEB SERVICES 上的主机 第 第 3 章 章 网 网络 络 OPERATOR 概述 概述 3.1. CLUSTER NETWORK OPERATOR 3.2. DNS DNS OPERATOR 3.3. INGRESS OPERATOR 第 第 4 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 CLUSTER NETWORK OPERATOR 4.1. CLUSTER NETWORK OPERATOR 4.2. 查看集群网络配置 4.3. 查看 CLUSTER NETWORK OPERATOR 状态 4.4. 查看 CLUSTER CLUSTER NETWORK OPERATOR 日志 4.5. CLUSTER NETWORK OPERATOR 配置 4.6. 其他资源 第 第 5 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 DNS OPERATOR 5.1. DNS OPERATOR 5.2. 更改 DNS OPERATOR MANAGEMENTSTATE 5.3. 控制 DNS POD 放置

重要 Jaeger 不使用经 FIPS 验证的加密模块。 1.1.2. Red Hat OpenShift distributed tracing Platform 3.0 中的组件版本 Operator 组 组件 件 Version Red Hat OpenShift distributed tracing Platform (Jaeger) Jaeger 1.51.0 Red Hat Red Hat OpenShift distributed tracing 3.0 中，由 Tempo Operator 和 Red Hat build of OpenTelemetry 提供的 OpenTelemetry 收集器提供的 Tempo 是分布式追踪集合和存储的首选 Operator。OpenTelemetry 和 Tempo 分布式追踪堆栈供所有用户采用，因为这将进一步增强。 1.1 命令时对断开连接的环境的支持。(TRACING-3523) 修复了没有部署网关时的 mTLS。(TRACING-3510) 1.1.4.3. 已知 已知问题 问题 目前，当与 Tempo Operator 一起使用时，Jaeger UI 只显示在最后 15 分钟内发送了 trace 的服 务。对于没有在最后 15 分钟内发送 trace 的服务，trace 仍然会被存储，但不会在 Jaeger

INGRESS OPERATOR 1.2.1. 路由和 Ingress 的比较 第 第 2 章 章 访问 访问主机 主机 2.1. 访问安装程序置备的基础架构集群中 AMAZON WEB SERVICES 上的主机 第 第 3 章 章 网 网络 络 OPERATOR 概述 概述 3.1. CLUSTER NETWORK OPERATOR 3.2. DNS OPERATOR 3.3. INGRESS INGRESS OPERATOR 第 第 4 章 章 OPENSHIFT CONTAINER PLATFORM 中的 中的 CLUSTER NETWORK OPERATOR 4.1. CLUSTER NETWORK OPERATOR 4.2. 查看集群网络配置 4.3. 查看 CLUSTER NETWORK OPERATOR 状态 4.4. 查看 CLUSTER NETWORK OPERATOR 日志 NETWORK OPERATOR 配置 4.5.1. Cluster Network Operator 配置对象 defaultNetwork 对象配置 配置 OpenShift SDN CNI 集群网络供应商 配置 OVN-Kubernetes CNI 集群网络供应商 kubeProxyConfig 对象配置 4.5.2. Cluster Network Operator 配置示例 4

1.3. 安装 OpenShift Elasticsearch Operator 3.1.4. 安装 Red Hat OpenShift distributed tracing Platform Operator 3.1.5. 安装 Red Hat OpenShift distributed tracing 数据收集 Operator 3.2. 配置和部署分布式追踪 3.2.1. 从 Web 控制台部署分布式追踪默认策略 1. OpenTelemetry Collector 配置选项 3.3.2. 验证部署 3.3.3. 访问 Jaeger 控制台 3.4. 升级分布式追踪 3.4.1. 更改 2.0 的 Operator 频道 3.5. 删除分布式追踪 3.5.1. 使用 Web 控制台删除 Red Hat OpenShift distributed tracing Platform 实例 3.5.2. 通过 CLI 删除 Red Hat OpenShift distributed tracing 平台实例 3.5.3. 删除 Red Hat OpenShift distributed tracing Operator 26 28 29 31 32 35 43 45 46 47 47 48 49 49 52 52 52 53 53 53 54 55 OpenShift Container

MACHINEHEALTHCHECK 资源示例 3.5. 创建 MACHINEHEALTHCHECK 资源 第 第 4 章 章 使用 使用 NODE TUNING OPERATOR 4.1. 关于 NODE TUNING OPERATOR 4.2. 访问 NODE TUNING OPERATOR 示例规格 4.3. 在集群中设置默认配置集 4.4. 验证是否应用了 TUNED 配置集 4.5. 自定义调整规格 4.6. 自定义调整示例 POD 与拓扑管理器策略的交互 第 第 6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 6.2. 安装 NUMA RESOURCES OPERATOR 6.3. 创建 NUMARESOURCESOPERATOR 自定义资源 6.4. 部署 NUMA 感知辅助 POD 调度程序 6.5. 使用 NUMA 感知调度程序调度工作负载 6.6. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第 第 7 章 章 扩 扩展 展 CLUSTER MONITORING OPERATOR 7.1. PROMETHEUS 数据库存储要求 7.2. 配置集群监控 第 第 8 章 章 根据 根据对 对象限制 象限制规 规划您的 划您的环 环境 境 8.1. OPENSHIFT