容器调度系统，无法做到通用化， 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念，用户面对的是Workload和Pod这样的概念，以及对应的运维概念（比如 HPA),在层次上是靠近对资源的抽象治理层面，对于业务研发人员而言是不友好的。应用 =Workload+运维特性+.......多种东西的集成，也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 以上解耦的结果，隐含着更深层次的能力，不是简单解耦那么简单，它使得统一通用PaaS成为可能 组件市场|仓库 平台运维特性 应用编排 运维特性编排 版本化 应用 • 两端解耦之后，两端方面都可以形成一个没有 私有PaaS特征依赖的市场，而强大的开源社区 比平台提供商自己还要强大，利用容器底座的 承载能力和OAM抽象化编排能力，可以不等排 期的构建各种特征的Paas。业务应用由于不依 赖于运维特性，也实现了标准化，也可以加入 赖于运维特性，也实现了标准化，也可以加入 组件市场，此时开放PaaS+开放应用市场可以 构建对应各种环境的应用了。 • 云原生蓬勃而多样的生态成了这种Paas的基础。 • 编排不在以服务为单位，而是以应用为单位， 再也不会出现由于理解不一致导致的交付失败 的情况，而不论底层容器云实现如何，应用的 交付的方式都是一致的。 DevOps是一种文化，是一种组织赋能，在无所不在，OAM除了在交付过程中提供了基于应用的 交付方案，同时将CI

默认安全策略，可以天然的规避大部分 安全问题，使得人员配置和沟通工作大 量减少，提高了整体效率! 安全右移是为了恰到好处的安全，一些非严 重安全问题，没有必要堵塞主研发流程，可 以交于线上安全防御系统。提高了整体实施 效率！ 安全编排自动化和响应作为连接各个环 节的桥梁，安全管理人员或者部分由 AIOps组件可以从全局视角观察，动态 调整策略，解决新问题并及时隔离或者 解决！ DevSecOps 标准化能力-承载无忧-E Protocol&Storage Serverless Data Chunk Data Chunk Data Chunk • 云原生的本质在于为云这种弹性资源下能够为应用提供 稳定的基础架构，所以云原生数据库相对于传统数据库 最大的不同也在这个方面：弹性 • 对于数据存储的高性能、高稳定性、高拓展、资源成本 等等都需要同时满足（和传统CAP相悖） • 接入层需要能够根据规则的路由，以及兼容各类协议接 口以及数据模型，并能根据应用的规模来自动拓展。 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 支持企业低成本、大容量存储和查询各类日志、消息、交易、用户行为、画像等 结构化/半结构化数据，支持高吞吐量实时入库及数据实时查询，实现数据资源 智慧化运营。 优势 低成本存储： 支持PB级数据存储 高并发： 千亿数据实时分析 数据源 设备监控 传感器 轨迹数据 车联网 业务集群 物联网套件写入 云原生 DB 轨迹查 询|实时 监测 MR 云原

无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时、按需扩展/收缩所 用资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 服务正常运行 实例 加入集群 恢复正常 场景 1 如果生产中一台Web应用服务器故障，恢复这台服务器需要 做哪些事情？ 场景 2 如果应用负载升高/降低，如何及时按需扩展/收缩所用 资源？ 场景 3 如果业务系统要升级，如何平滑升级？万一升级失败是 否能够自动回滚？整个过程线上业务持续运行不中断。 传统稳态业务环境难以高效承载敏态应用 发现故障 （假死） 创建 新实例 配置 运行环境 传统实践中，主要采用虚机/物理机+SpringCloud等微服务框架的方式承载微服务应用。但在一个虚机/服务器上 部署多个微服务会产生如下问题—— • 资源预分配，短时间内难以扩展 • 缺乏隔离性，服务相互抢占资源 • 增加环境、网络（端口）和资源管理的复杂性，治理成本高 • 监控粒度难以满足微服务应用运维的需要，线上问题难以排查定位，往往需要研发介入 我们需要一种新型的、为云而生的业务承载平台，去应对上述问题。

控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 simplify the growing 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性 企业混合云 100x ES/InfluxDB性能 1000+台跨Region集群 原力 “不可变基础设施” 服务 simplify 容 器 云 资源池 区域 可用区 虚拟化 宿主机 虚拟机 云服务 RDS Redis 容器 容器集群 容器节点 命名空间 容器服务 Ingress Deployment StatefulSet ReplicaSet POD 应用 业务 资源组 服务名 方法名 API EP 网络 VPC 子网 路由器 CIDR IP地址 安全组 NAT网关 SLB 资源、服务知识图谱 TKE ACK

Controller实现ServcieDiscovery 若干服务发现的接口定义 2. Controller List/Watch KubeAPIserver上service、 endpoint等资源对象 3. DiscvoeryServer使用 ServcieDiscovery接口上的服务发 现方法和用户配置的规则构造xDS 4. Envoy从Discovery获取xDS，动态 更新 Kubernet Service Version Version Service Deployment Deployment Label selector Istio25 Istio几种重要资源对象 • 入口资源对象 – VirtualService – DestinationRule • 重要属性 • HTTPRoute • HTTPMatchRequest • TCPRoute • DestinationWeight26 一个典型的VirtualService27 Istio在华为云：Kubernetes全栈容器服务 应用运维管理 丰富可定制的容器应用立体化运维 容器镜像服务 容器镜像一站式构建、存储与交付 应用编排服务 应用云上自动化编排与设施管理 云容器实例 基于K8S的Serverless容器服务 云容器引擎 企业级高可靠、高性能K8S服务 服务网格 K8S原生Service Mesh28 Istio在华为云：华为云容器应用29

steven zou 目录 - 开场：云原生与制品管理 - 初识Harbor：云原生制品仓库服务 - 使用Harbor搭建私有制品仓库服务 - 资源隔离与多租户管理模型 - 制品的高效分发(复制、缓存与P2P集成) - 制品的安全分发(签名、漏洞扫描与安全策略) - 资源清理与垃圾回收 - 构建高可用(HA)制品仓库服务 - Harbor集成与扩展 - 路线图 - 参与贡献Harbor社区 云原生与制品管理 goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 项目 存储 访问控制 制品资源 Members Images Guest: Developer: Administrator: 通过设置不可变规则来避免特定Tag被覆盖或者误删除 制品安全分发-不可变Tag 资源清理与垃圾回收 [1] 通过Artifact保留策略实现资源清理：根据用户设置的保留策略计算得出需要保留的 资源而删除不需要保留的资源 不释放存储空间/释放配额 注意：不可变Tag一定会被保留 资源清理与垃圾回收 [2] 通过垃圾回收可以清理存储空间中的无用数据，V2.1之前为阻塞式GC，V2

控制平面 • 轻量的Pilot Proxy • 向Istio的标准协议靠拢 重点目标 长期规划15/24 数据平面实践细节 • 部署方式 • 升级方式 • 容灾方式 • 性能问题 • 资源问题 • 兼容问题 关键设计 关键问题16/24 数据平面部署方式 容器化运行方式 • sidecar模式 • 与业务进程相同Pod不同Container 陌陌微服务容器化部署比例在80%以上 发布过程同时存在新旧两个Agent • 注入新Container • 预留占位Container • Container内部升级 当前方案 运维Agent • 单个Pod升级Agent • 多个Pod发布编排 Agent发布流程19/24 数据平面容灾方式 服务类应用 • 场景：出流量由入流量产生 • 方案：由原有健康检测机制摘除流量 借助原有服务治理能力 特殊应用 • 场景：流式计算、定时任务 Agent内部 • 对象池化：减少资源消耗与GC压力 • 响应等待机制：非阻塞等待 两次请求转发小于0.2ms Agent外部 • 提升服务器性能（缩减耗时绝对值） API层接口耗时增长小于6%21/24 数据平面资源占用 与业务容器共享CPU、内存资源配额 为Agent JVM分配256M内存资源 服务器消耗增加约10% 分配方式 内存资源 服务器资源 维持现有内存使用率与 服务器配置的最坏情况

形成新的云原生时代。云原生是未来五到十年一个 非常大的一个技术的一个颠覆, 云原生重写了传统的一些企业的技术架构, 例如云原生中的K8S颠覆了传 统操作系统, 所有的"主机"(node上的容器)由k8s来控制和编排, 非常适用于公有云、私有云、混合云等 各种环境。云原生体系的特点之一就是由各种开源项目组成, 不同于以往的商业闭源项目, 缓解了收费贵 等问题, 加速了技术落地。新的时代中每个公司的技术都是非常重要的组成部分 的长度有关，和路由数量无关；kong 的路由时间复杂 度是 O(n)，随着路由数量线性增长。 • Apache APISIX 的 IP 匹配时间复杂度是 O(1)，不会随着大量 IP 判断而导致 cpu 资源跑满；kong 的最 新版本也换用了 Apache APISIX 的 IP 匹配库； • Apache APISIX 的路由匹配，接受 nginx 的所有变量作为条件，并且支持自定义函数；其他网关都是 毫秒就能达到所有网关节点，使用的是 etcd 的 watch；其他网关是 定期轮询数据库，一般需要 5 秒才能获取到最新配置 • 只有 Apache APISIX 开放了自定义负载均衡的挂载点，其他网关都不支持 独创的插件编排/低代码 API 网关 Plugin Orchestration • Kong：支持 Go 编写的插件 • Envoy：支持 Lua、WASM 编写的 filter • Apache AP

k8s 碰到的稳定性、容器编排质量和性能问 题。❖ 阿里巴巴容器的发展历程 ❖ 基于 k8s 云原生改造实践 ❖ k8s 规模及性能优化实践 ❖ 云原生应用管理演进路线 主要内容阿里巴巴容器的发展历程 2013 初步探索 使用容器的方式替换传统使用 VM 部署应用的，基于 lxc 自研 了 t4 容器并构建了 AI 集团管理 系统 2017 统一资源池 构建了 Sigma 调度系统，收敛了 调度系统，收敛了 众多运维平台之下的资源调度系 统，并构建了集团统一资源池， 在此基础上发展出弹性、混部等 技术成果，大幅降低了数据中心 的资源成本 2019 全面拥抱云原生 阿里业务全面上云，运维体系全 面拥抱云原生，基于 k8s 生态在 阿里内部蓬勃发展。在 2019 双 11 中，k8s 体系支撑了阿里史上 规模最大的集群，并提供了极速 的应用扩容体验 2015 野蛮生长 体验到使用容器部署应用的优势 BroadcastJob • CloneSet • UnitedDeployment (coming soon) https://openkruise.iok8s 规模及性能优化实践性能优化 RT/QPS 资源使用率 链路RT/QPS 服务异常 队列长度 gRPC监控 长连接分布 请求分布 限流 Authorization Authenticatio n 序列化 压缩 版本转换 Admission

将业务沉淀抽象化(比如 中台化),向上呈现。 • 低代码平台可以把不同 部门的系统、不同类型 的技术，如 RPA、BPM、 微流逻辑等串联在一起， 实现端到端的智能自动 化。是种生态型平台。 高级能力-混合云（资源角度） 控制力 服务、位置、规则可控 高安全 安全自主可控 高性能 硬件加速、配置优化 固定工作负载 私有云 混合云 SLB 工作负载可迁移 敏捷 标准化、自动化、快速响 应 低成本 按需伸缩、按需使用付费 理提供基础，同步镜像，为同一服务拓 展算力提供基础，同步Data，为隔离底 层云分布，在业务上的一致性上提供基 础。 • SLB会根据算力资源需要进行切流。 • 混合云本质是一种资源运用形式，资源 使用地位不对等，以私有云为主体。 控制台 控制台 高级能力-多云（资源角度） 调研机构Gartner公司指出，80％的内部部署开发软件现在支持云计算或云原生，不断发展的云计算生态系统使企业能够更快、 更 性。 • 云原生PaaS可以屏蔽多云的差异， 统一的不分何种云上的一致的运行 同一服务或者应用。 • 避免厂家锁定，客户可以自由选择 资源分布和费用组合，更加灵活。 • 中心云统一纳管运维和输出服务。 • 是一种以资源视角的云交付形式， 不同于混合云，底层云的资源使用 地位等同。 AWS Aliyun Azure 云中立 高级能力-分布式云(交付角度） 分布式云（Distributed