Node Operator: Kubernetes Node Management Made Simple 陈俊(Joe), Ant Financial Agenda • Background and Motivation • Introduction of Operators • Node-Operator • Advanced Topic: Teardown Cluster fast and convenient • Add & delete Node at any time • Upgrade Master & Node Components reliably • Canary Rollout • Master & Node Component Versions Management Motivation: Work Order Order Deployment Worker Order • Upgrade Nodes Versions • Upgrade Node 10.10.10.1 • Upgrade docker • Upgrade kubelet • Upgrade Node 10.10.10.2 • Upgrade docker • Upgrade kubelet …. Motivation: Work Order

51 k8s-master2.cof-lee.com 10.99.1.52 k8s-master3.cof-lee.com 10.99.1.53 k8s-node01.cof-lee.com 10.99.1.61 k8s-node02.cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # 99.1.53 k8s-master3.cof-lee.com k8s-master3 10.99.1.61 k8s-node01.cof-lee.com k8s-node01 10.99.1.62 k8s-node02.cof-lee.com k8s-node02 EOF ★k8s初始化时要求系统里有/etc/resolv.conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 set-�mezone Asia/Shanghai #设置时区 # systemctl restart chronyd # chronyc sources -v ⑦设置网络参数 #首先加载模块 # cat > /etc/modules-load.d/br_ne�ilter.conf <

0 码力 | 126 页 | 4.33 MB | 1 年前

3

Deployment Service Pod Node RBAC 研发 运维 K8s 团队 Ingress Kubernetes K8s 团队 运维能力的模块化描述 API 运维 研发视角的应用描述 API 研发 K8s 的 All-in-One API K8s + 分层化 API 设计 K8s 原生 API 区分使用者角色的分层应用定义 + 模块化封装的运维能力 = 应用模型 OAM：以应用为中心的 K8s 团队 Trait + App Config 运维 Component 研发 K8s 原生 API ECS/ FaaS/…… • API复杂：区分使用者/关注点分离 • 能力难上手：模块化封装/统一管理 • 云资源：统一API对接 apiVersion: core.oam.dev/v1alpha1 kind: Component metadata: name: nginx annotations:

10-Annotation 11-K8s架构及基本概念 12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 可移植: 共有、私有、混合、多云 可扩展: 模块化、可插拔、提供Hook、可组合 ⾃愈: ⾃动放置、⾃动重启、⾃动复制、⾃动缩放 Google于2014年启动了Kubernetes项⽬。Kubernetes建⽴在Google在⼤规模运⾏⽣产⼯作负载⽅⾯ 主机规划 IP 作⽤ 172.20.0.87 ansible-client 172.20.0.88 master,node 172.20.0.89 master,node 172.20.0.90 node 172.20.0.91 node 172.20.0.92 node 准备⼯作 关闭selinux 所有机器都必须关闭selinux，执⾏如下命令即可。 ~]# setenforce

2018.11 发布第一个版本。 包含 Nacos & Sentinel 组件 2019.1 1. 新增 Dubbo Spring Cloud 模块 让 Spring Cloud 与 Dubbo 可以互相调用 2. 新增 Seata 模块，让 Spring Cloud 的服务调用拥有分布式事务能力 2019.4 1. 发布 GA 版本 2. Sentinel 成为官方推荐的 Circuit tag1 tag2 tag1 tag1 tag2 tag2 多版本开发测试环境 Java微服务体系 Nacos注册中心 Pilot API Server Go App Envo y Node.js APP Envo y Java App Agent Java App Agent MCP Service Mesh xDS xDS • 调用互通 • 监控互通 •

都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Datadog、PagerDuty 和 New Relic。因此，我们建议团队除了云资源外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform 代码始终是唯 Inc. All Rights Reserved. 26 42. dbt 采纳 dbt 仍是我们在 ETL 工作流程中进行数据转换的首选工具。我们喜欢它的工程严谨性和它在 SQL 数据转换中实 践模块化、可测试性、和可复用性的能力。 dbt 有开源和商业化 SaaS 产品两种版本和健康的生态，包括一个 提供了许多用于单元测试、数据质量、数据可观测性等软件包的社区。这些包中尤为值得注意的是用于监测数 试需求。 工具 © Thoughtworks, Inc. All Rights Reserved. 31 63. Mocks Server 试验 Mocks Server 是一个基于 Node.js 的 API Mock 工具，它能够复制复杂的 API 响应、响应头和状态码，因此受 到了我们团队的重视。它的动态响应生成支持模拟多种场景，允许对 API 交互进行严格测试。Mock 可以描述为

⽤用户：SS ⽤用户：PP NS ServiceAccount：SS NS: PP Think in Cloud . 北北京 IPv6 on KUN ⽅方案 • IPv6(Pod, Node, Service) • 6to4 Tunnel • Bridge 特性 • 核⼼心基础⽹网络⽆无需修改 • underlay • Pod与集群外部互通 其他⽅方案 （SNAT） Service Gateway包括 bgpd 和 kube-proxy两部分。 Node Pod Pod Pod BGPD Kube-proxy masquerade-all=true 管理理⽹网 BGP(IPv4) BGP(IPv4) 接⼊入交换机 接⼊入交换机 Node Pod Pod Pod BGPD Kube-proxy masquerade-all=true proxy-helloworld 10 90 Think in Cloud . 北北京 监控系统 Kube-State-Metrics Kubernetes APIServer cAdvisor Node-Exporter KUN-Agent Grafana Blackbox Exporter Prometheus Monitor Manager 微信/邮件 外部探测 Probe Exporter

within/outside alibaba. 申明式 API Matching Ali's design philosophy of the operation and maintenance system. 模块化、可扩展的架构设计 Sufficient expansion capability to meet the needs of diverse application operations.阿里巴巴的 Watch (rv=3 node=x) Too old version err rv=3 FIFO• 网络抖动造成informer重新List & Watch List & Watch优化 Cache APIServer 5 9 11 13 Watch Cache Informer Store Kubelets Watch (rv=11 node=x) Too old Index rv Reflector 3. Wait rv > rv@t0 Add Indexs 1. nodename 2. Namespace 3. Labels …… Describe node 5s 0.3s• 稳定性保证 规模化容器调度 稳定 资源竞争 容灾 负载均衡 CPU精细化分配 应用互斥/亲和 维度：应用、核心应用 拓扑：单机、AZ 节点负载感知 资源利用率预测•

Premier Member General Member SACC2017 超级账本目标 • 基于区块链的企业级分布式账本技术(DLT) • 用于构建各种行业的商业应用平台 • 模块化、性能和可靠性 • 提供商业友好的许可(Apache V2.0) 9 SACC2017 区块链项目对比 10 Hyperledger (Fabric) Bitcoin Ethereum (master) • 一个或多个工作节点(worker) • 命名空间（Namespaces） – 用于命名分隔资源的逻辑组 K8s Cluster Worker node 1 Worker node 2 Worker node 3 Master SACC2017 Pod的概念 • Pod是K8s中一个或多个容器组成的部署单位 • 容器共享一个IP地址和端口空间，互相之间用 – ClusterIP – NodePort – LoadBalancer • 服务发现 – DNS – 环境变量 25 Worker Node Service Pod 1 Pod 2 Pod N Node IP: 192.168.10.10 IP: 10.2.3.14 DNS: service1.cluster.local Port: 9443 NodePort:

Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential 开源与 Amazon EKS Amazon EKS 的主要模块已经开源 • Amazon VPC CNI plugin • AWS IAM authenticator • Amazon EKS AMI AWS团队贡献或管理着超过20个与Kubernetes相关的开源项目 客户网 关 公司数 据中心 On-premises 10.1.0.0/16 VPN / DX Pod Outbound Traffic SNAT EKS worker node Primary elastic network interface Pod Secondary elastic network interface Pod – 100.64 Confidential ALB Ingress controller AWS Resources Kubernetes Cluster Node Node Kubernetes API Server ALB Ingress Controller Node HTTP Listener HTTPS Listener Rule: /cheeses Rule: /charcuterie