Wanted: Container Orchestrator! Kubernetes in 5 min https://youtu.be/PH-2FfFD2PU Kubernetes Cluster ​Docker ​Run One Container at a Time What is Kubernetes? 12 OS App 1 Bins/Libs App 2 Bins/Libs ContainerImage2 Replicas: 2 Kubernetes 101 at the Highest Level • Container Cluster = “Desired State Management” – Kubernetes Cluster Services (w/API) • Node = Container Host w/agent called “Kubelet” • Application be running Worker Node Worker Node Worker Node Kubernetes Master Node (Master & etcd nodes) API K K K App_Y.yaml ContainerImage1 Replicas: 1 ContainerImage2 Replicas: 2 https://youtu.be/PH-2FfFD2PU

01-什么是Kubernetes 02-安装单机版Kubernetes 03-使⽤Kubespray部署⽣产可⽤的Kubernetes集群（1.11.2） 04-K8s组件 05-Kubernetes API 06-理解K8s对象 07-Name 08-Namespace 09-Label和Selector 10-Annotation 11-K8s架构及基本概念 12-Master与Node的通信 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes control plane 所⽤的API 与开发⼈员和⽤户可⽤的API相同。⽤户可以使⽤ their own API 编写⾃⼰ 的控制器，例如 scheduler ，这些API可由通⽤ command-line tool 定位。 这种 design 使得许多其他系统可以构建在Kubernetes上。 http://localhost:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/#!/overview? namespace=default 参考： https://kubernetes.io/docs/tasks/access-application-cluster/web-ui-dashboard/

Head of distributed system Self driving infrastructure Topics ● Cluster management systems ● Today’s problems with operating cluster management systems ● A self-driving approach Motivation: microservices a lot of components ○ dynamic dependencies ○ fast deployment iteration ● Solution: automation Cluster management system ● Automation ○ Scheduling ○ Deployment ○ Healing ○ Discovery/load balancing ○ Install API server - Config them correctly - Start them Installation - etcd - SSH - Install etcd - Config them correctly - Start them Installation kops, kubeup.sh, kube-AWS,... AWS, GCP API node1

Extensibility/Integration • CI/CD examples • Future plan Overall Architecture Kubernetes Cluster Kubernetes Cluster Node Node Node Node Job Job Job Job Pod Pod Pod Pod ElasticSearch ElasticSearch Logging customization Cluster Resource Auto Scaling kubelet can do image GC DevOps Service DevOps Operator DevOps Operator DevOps Service DevOps Manager CronJob k8s API MySQL k8s API MySQL MySQL • Alertmanager to invoke various alert and related actions docker registry Kubernetes Cluster Kubernetes Cluster CRD and Operator Design BuildJob DevOps Operator Job Job Job Job BuildJob BuildJob

ai-dc-api ai-dc-api ai-dc-api 业务线名称 ai dt ad 现有环境名 test preview prod 统一规划环境名和业务应用名，适配标准自动化运维。 业务线名称采用拼音首字母缩写 k8s-namespaces 环境名称定义采用业务线缩写名加环境名组成 k8s-service名称、app名称和应用名称包名保持一致 k8s-api配置对象 作用 容器host应用名称，deployment 名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用docker容器化之后，ci-cd由运维平台集中控制， 其中三个控制平台节点运行 keeplived和haproxy,node节点 和api-server通讯通过vip对 接,haproxy将流量转发至 apiserver 每个控制平面节点创建一个本 地etcd成员，该etcd成员仅与 kube-apiserver该节点通信 kubernetes cluster HA etcd cluster load balancer-vip apiserver controller-manager

--apiserver-adver�se- address=10.99.1.51 \ # api server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误 cof-lee.com:5443/k8s kind: ClusterConfigura�on kubernetesVersion: v1.19.4 networking: dnsDomain: cluster.local serviceSubnet: 10.7.0.0/16 podSubnet: 10.244.0.0/16 scheduler: {} --- apiVersion: kubelet --apiserver-adver�se- address=10.99.1.51 \ # api server地址 --pod-network-cidr=10.244.0.0/16 \ # pod容器网段 --service-cidr=10.7.0.0/16 \ # service网段，即cluster ip网段 --ignore-preflight-errors=Swap \ #忽略swap未关闭而导致的检查错误

a standard API allowing a storage provider to write just one plugin that will work for all major container orchestration systems: Kubernetes, Mesos, Docker and Cloud Foundry. Cluster API provider for for vSphere • The Cluster API is a Kubernetes project to bring declarative, Kubernetes-style APIs to cluster creation, configuration, and management. It provides optional, additive functionality on top Minikube is a tool that makes it easy to run Kubernetes locally. Minikube runs a single-node Kubernetes cluster inside a VM on your laptop for users looking to try out Kubernetes or develop with it day-to-day

如果它不可用，那么我们所有的控制命令都会失效。 Master节点上运行一组关键进程： API Server API服务器（kube-apiserver）：提供HTTP Rest接口的关键服务，是k8s集群里所有资源的增删查改等操 作的唯一入口，也是集群控制的入口进程。并提供认证、授权、访问控制、API注册和发现等机制 Controller Manager控制管理器（kube-control kube-proxy：它负责节点的网络，在主机上维护网络规则并执行连接转发。它还负责对正在服务的pods进行负载平衡。 比如一个服务可能会运行多个副本（Pod），由他来控制具体由哪个Pod提供服务。为Service提供cluster内部的服务发 现和负载均衡。 Docker Engine（docker）：docker引擎，负责本机的容器创建和管理工作。 12 www.h3c.com Confidential 秘密 12 www.h3c.com Confidential 秘密 14 14 K8s Pod生命周期介绍 Pod 对象在 Kubernetes 中的生命周期。Pod 生命周期的变化，主要体现在 Pod API 对象的Status 部分。其中 pod.status.phase，就是 Pod 的当前状态，它有如下几种可能的情况： Pending Running Succeeded Failed Unknown

Compute Engine 隨選生成的虛擬機 IaaS and PaaS at Scale Google App Engine #全代管服務 #以容器為基礎 #適合Web應用 #適合Api #全自動擴展+強大的負載平衡 #整合能同步擴展的NoSQL DB Kubernetes ● Kubernetes 是用於自動部署，擴展和管理容器化應用 程序的開源系統 ○ 根據資源需求和其他約束自動放置容器 負載平衡 整合無流量上 限的Google Cloud Load Balancer Demo: Create Your First Service in 10 Mins Run your cluster the way Google does GKE On-Prem ● Turn-key, production-grade, conformant Kubernetes with best-practice Solutions ALPHA IN FALL Run your cluster the way Google does ● The same tools are used to install, configure, and manage clusters in GKE and GKE On-Prem ● Cluster environments are consistent (k8s

分析 集群管理理 版本管理理 配置管理理 链路路跟踪 负载均衡 ⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . 北北京 基于RBAC实现 Operator 于 API server 交互，Watch 全部的 Namespace 或者特 定Namespace中对CR的创建、更更新、删除事件 • Operator 处理理这些事件，可以使⽤用 k8s 中的pod、deployment、 statefulset 对象构建应⽤用 Operator⼯工作原理理 Operator Kubernetes API Server Informer Operator Server • redis-operator（⾃自研，考虑开源） Operator管理理有状态的服务 Kubernetes API Server redis cluster redis cluster redis cluster Manage Redis Operator service statefulset pvc deployment Create