技术与家 Building Microservice NO.1 深圳站 Cloud Native 架构下的 K8S 和微服务实践 INTRODUCTION 2018 Building Microservice NO.1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 SPEAKER 华为公司 ServiceComb项目负责人. Apache Member Native 架构下的 K8S 和微服务实践 TABLE OF 01 03 02 04 ServiceComb项目是什么？ ServiceComb的特点是什么？ ServiceComb的最新进展？ 如何加入到ServiceComb社区开发？ 2018 Building Microservice NO.1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 Microservice NO.1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 ServiceComb的来源 SPO Cloud 核心网 Cloud Service Engine 2018 Building Microservice NO.1 深圳站： Cloud Native 架构下的 K8S 和微服务实践 ServiceComb项目介绍 • Java/Go

OAM社区成员 开局一张图 规模化应用交付效率对比去年 每万笔峰值交易的IT成本对比4年前 提升1倍 下降80% 云原生 技术 稳定 成本 效率 云原生-程序员视角 基础设施 K8s 云原生生态（CNCF） 云原生应用 云原生是以容器技术为基础围绕着Kubernetes进行的一场技术标准化演进。通过标准可扩展的调度，网络， 存储，容器运行时接口来提供基础设施；通过标准可扩 … 权限 K8s Istio Envoy Tekton Argo KEDA ES InfluxDB Promethues Knative Ingress Rook Kube eventer … 策略 机制 Jaeger 实例 调度策略 链路 K8s及云原生生态给 开发者提供的是机制 开发者直接使用K8s的失败故事 • 认知成本高：K8s功能强大却没有统 能力复用 自动化 可观测 稳定 安全 开发者真正想要的是策略：大象无形的基础设施，坚如磐石的中间件，丰富高效的应用PaaS平台 基础设施 云原生PaaS平台提供应用管理策略 基础设施 K8s 云原生生态（CNCF） 云原生应用 4 6 7 2 3 5 1 1 Kubectl plugins 2 Apiserver extension 3 4 5 6 7 Custom

高效 地获取各种状态则决定了故障诊断的效率。 集群状态大致可以分为两类，主要分类依据是能否通过 kubernetes API 直接查询。 k8s 可直接查询的状态 Kubernetes 和 Chaos Mesh 组件运行的状态均可直接通过 k8s API 查询。 cluster status Components Controller Daemon Dashboard Dns Server IOChaos XXXChaos PodXXXChaos Status Event Target Pods Status Logs Event k8s 不可直接查询的状态 Chaos Mesh 注入的故障给目标 Pod 带来状态不可通过 k8s API 直接查询。 cluster status Target Pods Mounts Processes ipset iptables Pid pod/forward pod/exec 状态查询的解决方案 现在假定我们已经引入了一个 API server，仅考虑障碍1的查询噪音问题，有 nested resources（类 似 k8s API 中的 sub resources）和 GraphQL 两种 API 方案可以选择。 但如果要解决障碍3中的关联查询问题，则 GraphQL 是最佳的 API 方案。 GraphQL GraphQL

Streamlines infrastructure such as K8s and VMs to support smooth migration from VMs to containers. Service Center K8s adaptor ETCD adaptor Service center adaptor Registry K8s K8s Service center Service Models/Services lifecycle management HTTPS Store models Store images Deploy services Create K8S Cluster for CCE OBS CCE ELB @EIP Internal HAProxy CCE Console CES IAM DCS UPredict Admin Admin (UPredict administrator) UPredict Customers (Models/Services administrator) Fetch images K8S cluster for UPredict UPredict VPC Actually deploy services Register services instances, heart-beating

- 支持多注册中心 - 拥抱混合云架构 - 同时支持客户端自注册与平台注册 - 打通k8s与虚机等基础设施，可实现VM向容器平滑迁移 Service Center k8s adaptor etcdadaptor Service center adaptor Registry k8s k8s Service center Service center etcd Huawei Confidential Models/Services lifecycle management HTTPS Store models Store images Deploy services Create K8S Cluster for CCE OBS CCE ELB @EIP Internal HAProxy CCE Console CES IAM DCS UPredict Admin (UPredict (UPredict administrator) UPredict Customers (Models/Services administrator) Fetch images K8S集群 for UPredict UPredict VPC Actually deploy services Register services instances, heart-beating based

普杰 华为云边缘云创新Lab 高级工程师 KubeEdge SIG AI Tech Lead 目 录 Edge AI现状与趋势 01 Sedna：边云协同AI框架 02 Sedna-GM：K8S Operator 03 实践案例 04 Edge AI现状与趋势 第一部分 Why Edge AI？ • Cloud中心化的AI计算范式不足以应对端上AI 应用对实时性、准确性和强交互性的需求 卸载，包括卸载到其他边缘或云端，以提升 整体推理效率。 多边协同推理： 联合多边缘信息提升精度，卸载任务到多边缘提升资源利用率 Sedna-GM： 一个K8S Operator 第三部分 Operator：特定应用扩展K8S API的控制器 •API: The data that describes the operand’s configuration. The API includes: doJobStageEvent(deployNodeName) } return nil } 【8】边缘消息同步到云端 // updateFromEdge syncs the edge updates to k8s func (c *Controller) updateFromEdge(name, namespace, operation string, content []byte) error { var

生了巨大的影响力，在互联网行业广泛使用，但是这⼀阶段的开源除了情怀和展示技术影响力之后 很难量化对公司的价值，因此也比较难以持续发展。第二个阶段是 2018 年开始，随着云计算发展， 开源作为⼀种标准加速云计算发展，尤其 K8s 迅速崛起给我们很多启示，作为⼀家云计算公司，阿 里巴巴也在 2018 年制定了⼀个全面开源，加速企业数字化转型，影响 100w 开发者的战略目标， 这个阶段的开源发生了本质的两个变化，第⼀更重 Istio。 Nacos 生态 < 156 我们都知道 K8s 改变了传统的应用部署发布的方式，给容器化的应用服务提供了灵活方便的容器编 排、容器调度和简单的服务发现机制，但缺少了更丰富和更细粒度的服务治理能力。而 Istio 的出 现正是为了弥补 K8s 在服务治理上的不足，它定义⼀套标准 API 来定义常见的治理策略。 从我的角度和理解来看，K8s 与 Istio 呈互补关系，共同决定了业务应用的部署、发布以及运行时  注册中心如何支持微服务网格生态，因为 istio 目前默认支持的是 K8s 的 service 服务发现机 制； 那么，在 Nacos 服务网格生态下是如何解决这些问题的呢？观察如下的架构图，其流量是从云原 生网关（云原生网关，它具备的特点是与微服务架构保持兼容，既支持微服务网关，同时又能符合 云原生架构，支持 K8s 标准的 Ingress 网关）进来，然后进入微服务体系，微服务体系中

支持自定义fallback ● http/rpc框架内建 ● 自动触发，自动恢复 自适应熔断 ● K8S的HPA 80%触发 ● CPU>90%开始拒绝低优先级请求 ● CPU>95%开始拒绝高优先级请求 ● 基于滑动窗口，防止毛刺 ● 有冷却时间，防止抖动 ● 实践检验，配合K8S弹性伸缩 ● http/rpc框架内建 自适应降载 ● 超时 ● 级联调用 ● 跟客户端超时配合 跟客户端超时配合 ● 重试 ● 指数退避 ● 流量quota ● 超时相关性 更多组件 Requests 并发控制 自适应降载 自适应熔断 Rpc Call K8S弹性伸缩 限流 负载均衡 多重防护，保障高可用 ● 链路跟踪 ● Logging ● Metrics ● 监控报警 可观测性 没有度量，就没有优化！ ● 数据上报到控制台服务 ● 数据上报到prometheus

极光推送后台系统架构实践 曾振波 极光开发者技术部推送开发组 技术负责人 极光推送后台开发工程师 多年互联网开发经验，专注后台开发技术。2016年加入极光，负责极光推送平台架构设 计及开发，主导包括K8S在内的技术架构实施落地，推动系统架构的演进，构造支撑海 量用户的推送系统，对大规模分布式系统架构及设计有深入的理解。 自我介绍 • 极光推送服务架构 • 关于极光 • 消息推送系统面临的挑战 极光推送后台系统架构 02 01 06 03 07 05 04 08 模块化 异步化 并行化 缓存化 程序及系统优化 基础组件服务化 链接管理 系统安全 09 新技术的应用——K8S部署业务 模块化 • 模块业务逻辑All In导致相互影响，更新升级难度大 • 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 通信安全 • SSL，私有加密协议 • 服务安全 • 安全校验，异常行为识别，过载保护，白名单/黑名单，服务降级 • 监控及告警 • 多维度监控，告警系统 极光推送后台系统架构 08 K8S部署业务 • 原有系统的运维工作繁杂，资源利用率低 • 弹性扩容 • 配置统一管理 • 内外集群隔离 • Pod包含多个容器 - 辅助容器，业务容器 • 业务模块代码架构调整 • 监控体系调整

- gRPC Local Debugging How do we connect service in k8s cluster before :( IDL Tool Chain - gRPC Local Debugging Now we connect service in k8s cluster like this :) IDL Tool Chain - gRPC Remote scenario, DNS Resolver will not resolve name automatically Framework - Service Register/Discovery K8s API Server Resolver Framework - Builtin Interceptors Framework - Builtin Interceptors Builtin Interceptors