多雲一體就是現在: GOOGLE CLOUD 的 KUBERNETES 混合雲戰略 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 安玟宇 Wayne An Customer Engineer, Google Cloud WayneAn@google.com 多雲一體就是現在: Google Cloud 涵蓋Web/App/DB皆有多 樣化代管服務可以組合出 最適架構 自動化部署 與開放平台以及開發環境 整合，加速應用上線 Google Cloud Taiwan 優勢 Google Infrastructure event driven functions web apps & APIs orchestrate containers infrastructure 使用多層次的架構重塑雲端佈署

涉及的模块：全局管理、容器管理、云原生网络、云原生存储、信创异构 中间件服务 专为有状态应用设计的云原生本地存储能力，满足中间件高 I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建 DCE

热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 to Reach Nearly $600 Billion in 2023》，Gartner， 2023 年 4 月 云计算白皮书（2023 年） 4 从区域层面来看，全球云计算发展呈现“一超多强”态势。2022 年，北美洲占据了全球 52.14%的公有云市场规模，较 2021 年增长 20.4%。欧洲、亚洲位列市场占比二三位，分别为 23.41%、18.35%。 大洋洲、南美洲、非洲均处于“云发展中”，三大洲占比总和仅 for cloud 并持续更新云原生安全组件，为云原生安全提供 一体化保护平台；阿里云上线云安全中心、Web 应用防火墙等多个 云计算白皮书（2023 年） 8 云原生安全服务。安全厂商方面，多维度聚焦云原生安全产品建设。 随着云原生安全市场的扩张，传统安全厂商开始大规模转向云原生 安全产品建设，云原生安全初创厂商不断涌现。Palo Alto 目前已部 署基于 Prisma Cloud 的全方位云原生安全产品；Trend

平台概览 Kubernetes 多 Kafka 集群 监控 服务 注册 Kafka 客户端 平台 API • 多集群 • ⾼高可⽤用 为什什么采⽤用 Kubernetes 问题驱动 • Kafka 资源规划不不合理理 • 单⼀一集群造成系统单点 • 不不区分集群和 Topic 等级，影响重要业务 • 业务与 Kafka 深度耦合 多 Kafka 集群⽅方式 根据 Topic 多变需求引发集群规模增⻓长 • Broker, Topic 规模 服务器器资源利利⽤用率 • 单机运⾏行行多 Broker ⽅方式 多集群问题 磁盘是不不得不不考虑的问题 • ⽇日志落盘，⽇日志失效 ⽅方案 • Broker 之间物理理磁盘隔离 磁盘是个⼤大问题 服务器器选型 ⾼高密度存储服务器器 • 多磁盘, 单盘 RAID • 服务器器使⽤用率⾼高 如何管理理集群 集群数增加，导致 Broker • Status 是否启⽤用 客户端 • 业务易易⽤用 • 标准客户端，降低集群⻛风险 集群容错 • 灾备集群 • 保证重要 Topic ⾼高可⽤用 • 客户端与服务器器注册联动 指标维度 举例例 Kubernetes 3 容器器内存、CPU、运⾏行行状态 Broker 14 消息量量，JVM, Leader分布，磁盘消耗 Topic 13 消息量量，消费延迟 主机 4

-才云整体解决方案 海尔工业互联网 - 才云整体解决方案 多集群管理 存 储 网 络 混合云 监控日志 基础服务 镜像仓库 认证鉴权 资源管理 面向业务开发 CI/CD 微服务 应用商店 面向业务管理 弹性伸缩 API Gateway 负载均衡 应用编排 日志监控 告警 服务发现 API 业务中台 多租户管理 运维中台 云端操作系统 数据中台 面向数据与智能 Exporters Prometheus Server Short-lived jobs pod host Node pod host Endpoints Targets Data 监控维度: • 宿主机 • 容器 • 应用 • 业务 业务采集指标: • 访问量 • 错误率 • 调用耗时 • 饱和度 数据采集方式: • Push：非标 • Pull： • Filebeat扩展 数据存储方式: • OpenTSDB • Prometheus • ES 数据展现方式: • 自开发页面 • Kibana 海尔工业互联网 – 才云数据解决方案 Clever 提交多框架（TensorFlow、PyTorch 、MxNet等）的模型训练作业，支 持分布式和 GPU 加速，以及训练过 程的可视化。 模型训练 模型版本管理，模型推理服务的部署 、监控、管理和升级，提供

企业在云原⽣生时代的挑战 3 KubeOperator 开源容器器平台的技术优势 KubeOperator 开源容器器平台企业版 云原⽣生（Cloud Native）正在吞噬世界 云原⽣生的三个维度 企业本地部署 公有云 + 物理理资源 虚拟化资源 容器器化资源 瀑布模型 敏敏捷开发 DevOps 统⼀一架构 多层级架构 微服务架构 1. 基础设施 2. 开发模式 IN ONE 解耦⽅方式 采纳⼀一站式 PaaS 平台，⽐比如 OpenShift 容器器平台、DevOps、微服务：三者分开建设 企业的云原⽣生之旅 集群 规划、部署和运营 1 多集群 统⼀一管理理 2 基于 K8S 的 PaaS 服务 3 微服务架构 4 DevOps 5 - 规划、部署和运营⽣生产级别的 Kubernetes 集群是企业踏上云原⽣生之旅的第⼀一步 ⽀支持以项⽬目为核⼼心的分级授权管理理；⽀支持系统管理理员、项⽬目管理理员和集群管理理员三种⻆角⾊色；对外开放 REST API；⽀支持国际化 i18n；提供 Web Kubectl 界⾯面；内置 Helm； ⽀支持多集群配置管理理（X-Pack）；⽀支持对接 LDAP/AD（X-Pack）；⽀支持⾃自定义 Logo 和 配⾊色（X-Pack）； 可观察性 内置 Prometheus，⽀支持对集群、节点、Pod、Container

300 + 公司生产环境上线 Spring Cloud Alibaba 现状 https://start.aliyun.com/bootstrap.html • 业务高可用、多可用区部署 • 同城/异地容灾，业务多活 • 微服务需要更安全、更可信 成本 稳定 效率 • 白天流量高峰期发布 • 云边端一体化开发部署联调 • 服务治理体系强依赖SDK升级 • K8s下应用IP的不确定、导致服务治理规则的失效 客户端摘除 • 实时性高 • 需要关注错误率阈值、隔离机器的比 例阈值，及被摘除后恢复时间 • 更灵活的摘除策略：调整权重 应用A 应用B 应用C 应用D 全局摘除：监管控一体 • 维度更加丰富 摘除后动作 • 弹性扩容替换故障机器 离群实例摘除: 单点故障自愈 服务治理中心 订单服务 交易服务 4. 发起调用 3. 获取token 5. 校验签名和规则 6. 审计日志 • 入口请求打上标识，标识绑定应用 分组，形成规则推送到配置中心 • 大幅度降低研发成本 tag1 tag2 tag1 tag1 tag2 tag1 tag1 tag2 tag2 多版本开发测试环境 Java微服务体系 Nacos注册中心 Pilot API Server Go App Envo y Node.js APP Envo y Java App Agent

化的workflows 和更 高级的自动化任务。Kubernetes 具备完善的集群管理能力，包括多层次的安全防护和准入机制、多租户应用支撑能力、透明 的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度 机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具，涵盖开发、部署测试、运维监控等各个环节。 5 www.h3c 资源可以定义任意数量的Lable，同时一个lable也可以被添加到任意数量的资源对象上去，Lable可以在资源对象定义时 确定，也可以在对象创建后动态添加和删除。 我们可以使用指定的资源对象绑定一个或者多个不同的lable来实现多维度的资源分组管理功能，以便于灵活、方便的 对资源进行分配、调度、配置、部署等工作。 Lable就是给资源对象打一个标签，然后通过Label Secletor（标签选择器）查询和筛选拥有某些Label的资源对象， K8s集群中的存储卷跟Docker的存储卷有些类似，只不过Docker的存储卷作用范围为一个容器，而K8s的存储卷的生 命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。K8s支持非常多的存储卷类型，特别 的，支持多种公有云平台的存储，包括AWS，Google和Azure云；支持多种分布式存储包括GlusterFS和Ceph；也支持 较容易使用的主机本地目录hostPath和NFS。K8s还支持使用Persistent

netes集群 （1.11.2） 前提：科学上⽹，或⾃⾏将gcr.io的镜像转成其他镜像仓库的镜像。 Kubernetes的安装部署是难中之难，每个版本安装⽅式都略有区别。笔者⼀直想找⼀种 ⽀持多平台 、 相对简单 、 适⽤于 ⽣产环境 的部署⽅案。经过⼀段时间的调研，有如下⼏种解决⽅案进⼊笔者视野： 部署⽅案 优点 缺点 Kubeadm 官⽅出品 部署较麻烦、不够透明 Kubespray Master可在集群中的任意节点上运⾏。然⽽，简单起⻅，设置脚本通常在同⼀个VM上启动所有Master组件，并且不会 在该VM上运⾏⽤户的容器。请阅读 Building High-Availability Clusters 以实现多主机VM配置。 kube-apiserver kube-apiserver 暴露Kubernetes的API。它是Kubernetes控制能⼒的前端。它被设计为可⽔平扩展——也就是通过部署 更多实例来实现扩容。详⻅ Pod（像鲸⻥群或豌⾖荚）由⼀个或多个容器（例如Docker容器）组成的容器组，组内容器具有共享存储、⽹络，以及 容器的运⾏规范。 Pod的内容始终是被同时调度。 Pod可被认为是运⾏特定应⽤程序的“逻辑主机”——它包含⼀个或多 个相对紧密耦合的应⽤容器——在容器启动之前，应⽤容器总是会被调度到在相同的Node上。 尽管Kubernetes⽐Docker⽀持更多的容器运⾏时，但Docker是最常⻅的运⾏时，这样有助于使⽤Docker术语中描述