描述 API 版本 版本 CPU 使用率 已用的 CPU 内核数。可以用来计算 pod 的已请求 CPU 百分比。 autoscaling/v1、autoscaling/v2be ta2 内存使用率 已用内存量。可以用来计算 pod 的已请 求内存百分比。 autoscaling/v2beta2 重要 重要 对于基于内存的自动缩放，内存用量必须与副本数呈正比增大和减小。平均而言： 增加副本数一定会导致每个 示例， 示例，minReplicas 设 设置 置为 为 3 1. 查看部署的新状态： 部署中现在有 5 个 pod: 输 输出示例 出示例 2.4.1.2. 扩 扩展策略 展策略 autoscaling/v2beta2 API 允许您为 pod 横向自动扩展添加扩展策略。扩展策略用于控制 OpenShift Container Platform 横向自动扩展（HPA）如何扩展 pod。扩展策略允许您通过设置在指定时间段内扩展 dc/image-registry --min=5 --max=7 --cpu-percent=75 horizontalpodautoscaler.autoscaling/image-registry autoscaled apiVersion: autoscaling/v1 kind: HorizontalPodAutoscaler metadata: name: image-registry namespace:

描述 API 版本 版本 CPU 使用率 已用的 CPU 内核数。可以用来计算 pod 的已请求 CPU 百分比。 autoscaling/v1、autoscaling/v2be ta2 内存使用率 已用内存量。可以用来计算 pod 的已请 求内存百分比。 autoscaling/v2beta2 重要 重要 对于基于内存的自动缩放，内存用量必须与副本数呈正比增大和减小。平均而言： 增加副本数一定会导致每个 示例，其中 minReplicas 被 被设 设置 置为 为 3 1. 查看部署的新状态： 部署中现在有 5 个 pod: 输 输出示例 出示例 2.4.1.2. 扩 扩展策略 展策略 autoscaling/v2beta2 API 允许您为 pod 横向自动扩展添加扩展策略。扩展策略用于控制 OpenShift Container Platform 横向自动扩展（HPA）如何扩展 pod。扩展策略允许您通过设置在指定时间段内扩展 deployment/image-registry --min=5 --max=7 --cpu-percent=75 horizontalpodautoscaler.autoscaling/image-registry autoscaled apiVersion: autoscaling/v1 kind: HorizontalPodAutoscaler metadata: name: image-registry namespace:

secrets Checking application health Replicating application instances Using Horizontal Pod Autoscaling Naming and discovering Balancing loads Rolling updates Monitoring resources Accessing and Autoscalers (HPA) 的⽬标。也就是说，ReplicaSet可以由HPA⾃动伸缩。以下是 ⼀个HPA指向我们在上⼀个示例中创建的ReplicaSet的示例。 apiVersion: autoscaling/v1 kind: HorizontalPodAutoscaler metadata: name: frontend-scaler spec: scaleTargetRef: nginx-deployment --replicas=10 deployment "nginx-deployment" scaled 假设您的群集启⽤了 horizontal pod autoscaling 功能，您可以为Deployment设置⼀个autoscaler，并根据现有Pod的 CPU利⽤率，选择要运⾏的Pod的最⼩和最⼤个数。 $ kubectl autoscale deployment

dm-worker.tidb.pingcap.com/delete-slots DM Worker Open Source Conference 2022 Online/Spring 63 Autoscaling したい 負荷に応じて Pod の数を増やしてスケールさせたい場合も多々あると思います Kubernetes は HorizontalPodAutoscaler (HPA) の仕組みがあり、負荷に応 経由ではない操作によってリソースが書き換えられてしまうことは避 けるべきです ではどうすれば？ Open Source Conference 2022 Online/Spring 64 Autoscaling したい そのために tidb-operator では TidbClusterAutoScaler というリソース で HPA のような挙動を実現する仕組みが備わっています (まだ成熟度的に 「-- features=AutoScaling=true」を引数に指定してあげる必要があります また、リソース取得の為に TidbMonitor も同時に作成しておく必要があり ます (prometheus 等が一式自動で投入される) Open Source Conference 2022 Online/Spring 65 Autoscaling したい TidbClusterAutoscaler

management to optimize resource orchestration efficiency Ø High performance and comprehensive autoscaling What is TKEx Ø Based on TKE (Tencent Kubernetes Engine) & EKS (Tencent Elastic Kubernetes Service) of online and offline services. • Support Service Mesh. • Large-scale and high-performance autoscaling capabilities. • Multi-tenant and quota management. • etc. TKEx Architecture EKS (Elastic Kubernetes ValidatingWebhook to validate pod add request. DynamicQuota Large-scale and high-performance Autoscaling Motivation: Ø Reduce container OOM from bursted traffic. Ø Improve cluster resource utilization

operator design • Pipeline / Stage/ Task / Task Template / Version Control • Logging, monitoring, autoscaling, high availability • Extensibility / Integration • CI/CD examples • Future plan Our DevOps Pipeline/Stage/Task/Task Template/Version Control/UI generation/Volume... • Logging, monitoring, autoscaling, high availability • Extensibility/Integration • CI/CD examples • Future plan Overall Architecture created from template Tasks in same stage can run sequentially or in parallel Logging, Monitoring, Autoscaling, High Availability Kubernetes Cluster Node Node Node Node Job Job Job Job Pod Pod Pod ElasticSearch

pod 进行横向的自 行横向的自动扩展 展 (技 技术预览) 此功能（目前为技术预览）允许您根据自定义的 metrics API 对 pod 进行横向的自动扩展（horizontal pod autoscaling，简称 HPA）。作为这种技术预览的一部分，现在可以部署一个 Prometheus Adapter 组 件来为定制的 metrics API 提供应用程序的指标数据（metrics）。 限制： TP TP PID 命名空间的共享控制 TP TP Manila Provisioner TP TP Cluster Administrator 控制台 GA GA Cluster Autoscaling (只适用于 AWS) GA GA Container Storage Interface (CSI) TP TP Operator Lifecycle Manager TP GA Red 在运行了几天后，openshift-cluster-node-tuning-operator 可能会产生大量的 secret。 (BZ#1714484) Autoscaling for Memory Utilization 功能可能无法象预期的情况运行。为基于内存的自动扩展 （autoscaling）创建 HPA 会在查找资源时失败。 (BZ#1707785) 在成功进行更新后，oc clusterversion 可能会错

GPU or CPU nodes • Massive Scale • OpenAI dedicates up to 10k cores for a single experiment • Autoscaling capabilities: Pay for what you use, scale down when idle • Parallel training instead of sequential: Spin up pods for each variation of hyperparameters • One centralized TensorBoard instance • Autoscaling will create / remove VMs as needed to save cost Demo: Create End to End ML Pipelines with Argo Distributed File Systems • NFS • HDFS • … Classic DevOps solutions: • Containers • CI/CD • Autoscaling • A/B testing and canary release of Models • Comparing Production accuracy vs expected accuracy

✔ Load Balancing ✔ Overlay Networking ✔ Network Security Policies ✔ Backup and Recovery ✔ Autoscaling ✔ Service Discovery ✔ Networking ✔ RBAC & Access Control DEV DATA CENTER CLOUD BRANCH 5G / ✔ Load Balancing ✔ Overlay Networking ✔ Network Security Policies ✔ Backup and Recovery ✔ Autoscaling ✔ Service Discovery ✔ Networking ✔ RBAC & Access Control ✔ Common API & Packaging ✔ Health ✔ Load Balancing ✔ Overlay Networking ✔ Network Security Policies ✔ Backup and Recovery ✔ Autoscaling ✔ Service Discovery ✔ Networking ✔ RBAC & Access Control Common compute platform across any

Flagger Virtual Service Manual Scaling App CRD HPA Knative Service Cert Canary AutoScaler AutoScaling Route Job Deployment 缺乏交互、复用、可移植能 力。不同重复造轮子只是适 配不同 API 如何基于 K8s ，构建出一个既用户友好，又高可扩展，还 统一、标准化的应用管理平台？ truth) 持续集成 ● Build ● Run Unit Tests ● Build Docker Image ● Push Docker Image Image Registry AutoScaling Controller Rollout Controller GitOps OAM K8s Plugin + CUE Abstraction Processor Kubernetes