Node Operator: Kubernetes Node Management Made Simple 陈俊(Joe), Ant Financial Agenda • Background and Motivation • Introduction of Operators • Node-Operator • Advanced Topic: Topic: Kube-on-Kube-Operator • Achievement • Q&A Background: DC/OS From Sigma 2.0(Swarm) to Sigma 3.1(Kubernetes) Background: Cluster Scale • Production environment: • Dozens of Cluster • 5k+ Nodes / Cluster architecture Work order deployment system can not meet the requirements of resource management. Operator Observe Action Analyze • Observe: watch desired resource and actual resource • Analyze: difference

Operator Pattern：用 Go 扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生（ApeCloud）是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 从被收购到卷王（si） 回到初（qi）心（dian） KubeBlocks Maintainer & 研发总监 free6om 什么是 Operator 第一部分 Operator 前世今生 TPR Operator CRD Operator Pattern 2015.11 2016.12 2017.12 Now K8s 1.1 版本中正式推出 TPR （ThirdPartyResource），首次尝 K8s API 的扩展性问题， 但存在诸多问题，Alpha 阶段既 夭折 CoreOS 提出 Operator 概念，用 于管理和运行基于应用程序领 域的复杂有状态应用程序。 给出了用 TPR + controller- runtime 早期版本的 sample： etcd operator K8s 1.9 版本发布，CRD进入 beta 阶段并正式取代 TPR； controller-runtime

�������� TiDB � Kubernetes ����������! ��! PingCAP SRE ���! ����������������! ������ Kubernetes ����������! Kubernetes Operator ����! Operator �����TiDB-Operator! TiDB-Operator ��! TiDB-Operator �� ��! ��� NewSQL ��� TiDB! �������! • ��������! • ��������! �������������! ��������! • Puppet/Ansible/Chef/SaltStack! • ����������� DSL ����! • �����������������! ����������! • �����������! • ���������� ����������������! ������ Kubernetes ����������! Kubernetes Operator ����! Operator �����TiDB-Operator! TiDB-Operator ��! TiDB-Operator ��! kubernetes ����! • Docker volume: �������Dockerfile��volume

name: traefik-config tolerations: #设置容忍所有污点，防止节点被设置污点 - operator: "Exists" nodeSelector: #设置 node 筛选器，在特定 label 的节点上启动 IngressProxy: netes/ceph/operator.yaml download from https://github.com/rook/rook/blob/master/cluster/examples/kubernetes/ceph/cluster.yaml kubectl apply -f common.yaml kubectl apply -f operator.yaml kubectl product CacheMode = redis ReportStorageMode = redis AttrStorageMode = mongodb TiDB = influxdb [MQTT] Broker = tcp://emqx-headless:1883 ClientID = server0

○ 开发、测试更加方便 ○ 使用起来更加简单 ● SideCar 共享 Network Namespace ○ 范围和权限更加可控 Chaos Mesh 使用案例 以 TiDB 为例 ● 假设 ○ TiDB 使用 Raft 一致性算法构建副本，应当拥有容错的能力 ○ 在杀掉一个节点之后，QPS 应当会下降 ○ 一段时间之后，QPS会恢复正常 ● 运行实验 ○ 使得一个节点无法工作（Pod

1/manifests/�gera- operator.yaml # wget h�ps://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/custom- resources.yaml #创建控制器 Install the Tigera Calico operator and custom resource defini�ons # kubectl create -f �gera-operator.yaml #如果需要更改镜像，可编辑此 文件 # more �gera-operator.yaml | grep -i image: image: quay.io/�gera/operator:v1.30.4 #修改pod网段 # sed -i #查看calico节点状态，状态全部为Running则为启动成功 # kubectl get pods -n �gera-operator NAME READY STATUS RESTARTS AGE �gera-operator-59b69c49dc-t6crt 1/1 Running 1 (10m ago) 51m

сисадмина. ClickHouse operator? Что это? Программа, управляющая кластером ClickHouse в Kubernetes. Кодифицированные шаблоны. Кодифицированные best practices. ClickHouse operator? Зачем это? • Позволяет именно ClickHouse кластеризуется. • Позволяет легко автоматизировать типовые задачи. ClickHouse operator? Кому это надо? • Тем, кто находится в начале пути. • Тем, у кого есть типовая инсталляция. • много типовых задач, т.е. требуется автоматизация. ClickHouse operator – управление кластером как ОДНИМ РЕСУРСОМ ClickHouse Operator ClickHouseInstallation YAML file Лицензия: Apache 2.0, Распространяется

统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . 北北京 基于RBAC实现 账号管理理隔离 01 IPv6 02 Operator管理理有 状态的服务 03 监控 04 Think in Cloud . 北北京 • K8S提供了了多种身份认证策略略，具体如何实施？ • K8S的有两种⽤用户：服务账号(SA masquerade-all=true BGP(IPv6) BGP(IPv6) Service Gateway Service Gateway Think in Cloud . 北北京 Operator管理理有状态的服务 StatefulSet • 直接管理理的 Pod 的 hostname、名字等都是携带了了编号，Pod 的 创建，也是严格按照编号顺序进⾏行行 • 通过 Headless Volume Operator • ⾸首先在k8s中注册CRD • Operator 于 API server 交互，Watch 全部的 Namespace 或者特 定Namespace中对CR的创建、更更新、删除事件 • Operator 处理理这些事件，可以使⽤用 k8s 中的pod、deployment、 statefulset 对象构建应⽤用 Operator⼯工作原理理

Kubernetes Capabilities/Advantages to Build DevOps Solution • Architecture and Features • CRD and operator design • Pipeline / Stage/ Task / Task Template / Version Control • Logging, monitoring, autoscaling Kubernetes Capabilities and Advantages to Build DevOps Solution • Architecture and Features • CRD and operator design • Pipeline/Stage/Task/Task Template/Version Control/UI generation/Volume... • Logging customization Cluster Resource Auto Scaling kubelet can do image GC DevOps Service DevOps Operator DevOps Operator DevOps Service DevOps Manager CronJob k8s API MySQL k8s API MySQL MySQL • Pipeline

You can even self-host etcd! https://coreos.com/blog/introducing-the-etcd-operator.html https://github.com/coreos/etcd-operator How to bootstrap self-hosted etcd Bootkube API Server Scheduler Controller Controller Manager etcd etcd operator Bootkube API Server Scheduler Controller Manager Kubelet Pods API Server Scheduler Controller Manager etcd etcd operator Seed node Bootkube API Server Manager etcd etcd operator etcd Add Member Bootkube API Server Scheduler Controller Manager Kubelet Pods API Server Scheduler Controller Manager etcd etcd operator etcd Remove member