图 7 容器运行时安全风险......................................................................... 23 图 8 针对 k8s 进行攻击的路径分析......................................................... 27 图 9 针对微服务进行攻击的路径分析......... 图 13 容器逃逸结果展示...........................................................................40 图 14 k8s 权限提升攻击路径................................................................... 41 图 15 利用 CVE-2018-1002105 之一，云主机安全是云安全 的核心；在云原生阶段，容器和无服务器计算成为核心工作负载，容器安全、 Serverless 安全、DevSecOps 成为云安全的核心。自开源 Docker 容器和 k8s 编排引擎出现以来，云原生生态不断扩大。当前，云原生作为云计算深入发展的 产物，已经开始在 5G、人工智能、大数据等各个技术领域得到广泛应用。云原 生技术的广泛应用，带来了一系列云原生安全问题，因此，要保障云原生的安全，

云原生时代的应用与发布挑战 01 KubeVela 简介 02 KubeVela 中的渐进式发布实践 03 云原生时代，应用是怎 么样的？ 以 K8s 资源组合为核心 kubernetes/StatefulSet Kubernetes/Deployment K8s 的原生资源组合 1. 复杂、难懂、门槛高 2. 能力局限，不同场景各不相同 3. 不统一，每一个模式需要重新编 写发布对接 K8s-sigs 黑盒，不明确内部有哪些 资源。 2. 无法使用/对接云资源。 3. 发布能力缺失，使用 helm upgrade 没有灰度 能力。 Helm Chart 基于 CRD 自定义实现 需要大量 K8s 经验才能开发 某游戏公司自定义workload Pinterest 构建一个渐进式发布能力需要解决哪些 问题？ • 版本化 • 分批发布 • 滚动发布/原地发布 • 发布暂停 • 发布回滚 • 一个完整的应用描述文件（以 应用为中心） • 灵活的“schema”（参数由 能力模板自由组合） • 放置于应用代码库中（gitops 友好） • 无需学习 K8s 细节（ 完整的 用户侧抽象 ） • 可自动适配任意 k8s 集群与部 署环境（环境无关） 查看“能力模板”的用法 1. 能力模板注册时，KubeVela 控制器会 自动生成 OpenAPI v3 的 json schema

排运行 • 所需镜像从Dockerhub 来拉取 2 Helm Chart • 通过Helm来安装 • 目标为K8s集群 • 仅聚焦Harbor组件安装 • goharbor/harbor-helm 3 K8s Operator • 通过K8s CRD实现编排 • 目标为K8s集群 • 专注于HA模式支持 • goharbor/harbor- operator (开发中) 4 资源隔离与多租户管理 构建高可用(HA)仓库服务 [2] 使用Helm Chart和外部高可用服务（数据库，缓存和存储）部署HA的仓库服务 构建高可用(HA)仓库服务 [3] Harbor Operator提供基于K8s集群的all-in-one HA解决方案(也支持使用外部共享服务) Kubernetes Cluster User Defined Namespace Operator Namespace(s) Controller Redis Controller Minio Controller External Services K8s Resources K8s Resources K8s Resources K8s Resources K8s Resources Database Service Cache Service Storage Service 构建高可用(HA)仓库服务

云原⽣图数据库解谜、容器化实 践与 Serverless 应⽤实操 古思为 ⽅阗 Graph DB on K8s Demystified and its Serverless applicaiton in actions. DEVELOPER ADVOCATE @ MAINTAINER OF KCD China 2021 Nov. 6th @Shanghai 古思为 wey-gu OpenFunction 社区 Maintainer ⻘云科技研发⼯程师 Overview 了解 K8s 上的 Serverless 计算平台搭建实践：OpenFunction K8s 上的图数据库基于 KubeBuilder 的 Operator 实现，解谜图数据库的知识与应⽤ 上⼿ K8s 上的云原⽣图数据库、从零到⼀构建 Serverless 架构的智能问答助⼿ siwei.io/talks/2021-KCD err) } } Function Build ⽤ Tekton 管理镜像制作流⽔线 1. 获取源代码 2. 制作镜像 3. 上传镜像 如何管理 Build pipeline？ K8s 弃⽤ Docker 作为 Container Runtime 不能再以 Docker in docker 的⽅式以 Docker build 构建镜像 还有什么选择？ Function Build

以度量为基础，以NodeSelector算法来 决定在哪儿部署容器服务 • 运行时以期望与实际的差别进行动态调 整到期望的状态 标准化能力-分布式操作系统核心-容器服务-基本技术原理 事实标准的K8S容器服务设计 成应用与物理资源（IaaS，虚 拟机、物理，多云）的中间抽 象层，因为应用很复杂，很容 易陷入差异化定制市场，抽象 层的市场范围会更广，作为开 源平台，更容易成为通用性市 场选择。通用性才能做到普适 Kubectl Custom Controller Custom Resource(CR) Operator机制 Pod,Deployment, etc Spec (K8s Yaml) Custom Resource Spec (K8S yaml) 通过拓展实现自定义控制器来实现对非标准资源的纳 管，比如数据库的自动拓展能力或者自动化数据同步 能力等等。 标准化能力-分布式操作系统核心-容器服务-新发展 由于历史遗留或者软件形态所限制，不可能所有的软件都可以被微服务化或被容器化，那么现在阶段来看，整个 数字化转型的一些困难就是处于在技术上的碎片化，为云原生彻底发挥对极端变化的适应性价值还有很多障碍。 在统一的K8s管理面下， 通过一种代理容器(内置 了管理虚拟机的逻辑） 来启动虚拟化Pod， 此时可以同时在统一的 容器云平台下运行微服 务化容器化或者未容器 化的传统软件了； 另一个方向是，将底层计 算、存储和网络进行超融

.. 网络资源 VPC 子网 CIDR IP地址 NATGW ALB … ~30种资源标签，100+自定义微服务标签 理解云网络，自动标记端到端数据标签 Labels 自动同步云API、K8s apiserver DeepFlow support list 主机名、IP地址、VPC/隧道ID、对等连接、NAT/LB ➔ 资源标签 工作负载、容器服务、命名空间 ➔ 服务标签 容 器 tagint …… tagint tagint 云API、K8s apiserver GUI Data …… ① 采集 ① 采集 ② 存储 ② 存储 ③ 查询 ③ 查询 看云网更清晰 Simplify the growing complexity. Stage-1：采集时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Stage-2：存储时的编码 • Controller同步云API、K8s apiserver • 将所有标签编码为Int • Controller向Ingester下发编码后的Int标签 • 仅向Ingester下发需要持久化存储的标签 • 便于检索 • 如何选择需要随观测数据存储的标签 • 存储系统标签的：资源的标签、K8s的标签 • 不存储自定义标签：K8s label env=prod zone=ZoneA

作为标签带上去，设置 config.toml 中的 hostname=“$ip” 即可 完整配置可以参考： https://github.com/flashcatcloud/categraf/blo b/main/k8s/daemonset.yaml Kubernetes Node - 容器负载监控 关键指标 CPU使用率，分子是每秒内容器用了多少CPU 时间，分母是每秒内被限制使用多少CPU时间 sum( i 这些黄金指 标 • apiserver 也会缓存很多数据到内存里，所以进程占用的 内存，所在机器的内存使用率都应该要关注 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，大盘可以参考 k8s/apiserver- dash.json • apiserver_request_total 请求量的指标，可以统计每秒请求数、成功率 • apiserver_requ ，比如任 务数量，队列深度 • controller-manager出问题的概率相对较小，进程层面没 问题大概率就没问题 • 采集方式可以参考 categraf 仓库的 k8s/deployment.yaml，大盘可以参考 k8s/cm- dash.json • rest_client_request_duration_seconds 请求 apiserver 的耗时分布，histogram类型，按

居高不下的原因之一。 在K8s这种环境中，存在两种定制化的手段：其一是Deployment API，但是它却 把研发和运维的描述放在了一起；其二是Operator（CRD），我们不得不为不同 客户开发很多不同特质的Operator，交付成本依然很高。 定制Operator这种解决方案，看似 比较合理,但是强烈依赖于K8S这种 容器调度系统，无法做到通用化， 所以客户必须要求先做针对K8S的 应用改造。 K8S没有应用概念，用户面对的是Workload和Pod这样的概念，以及对应的运维概念（比如 HPA),在层次上是靠近对资源的抽象治理层面，对于业务研发人员而言是不友好的。应用 =Workload+运维特性+.......多种东西的集成，也无法在应用级别上进行管理。 ISV研发团队 标准化能力-微服务PAAS-OAM-万花筒PAAS-2 阿里和微软在19年发布了一个叫做OAM的规范，这是基 ess能力加快镜像构建速度、叠加安全左移能力等等。 OAM使得整体PAAS在通用化的情况下，向多种客户环境交付赋能。 OAM应用实例 从基础设施，到容器运行环境，再到应用都可以加入编排，想要在K8s上编排一切并不是容易的事情，通常一个应用，除了本身的容器之外还有许 多的依赖，常见的依赖有RDS，LB，MNS（SNS，SQS）等这类非容器资源。OAM在使用一体的“编排”语言即可将容器资源和非容器资源定义在一起。

多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s API Server Queue Controller Job Controller VG Controller VG API Server Cluster A K8s API Server Cluster B Agent Other Clusters Karmada 支持业界主流计算框架，如Spark、TensorFlow等； • 多用户公平分配资源，快速响应高优先级作业 解决方案: • K8s + Volcano 统一调度所有工作负载； • Queue动态资源共享，DRF、优先级抢占 用户收益： • 大数据作业从Yarn平滑迁移至K8s； • 云原生DAP平台服务于17个国家/地区，1100用户，年增长率8.1%； • DAP平台运行项目450+ V Kubernetes + YARN Kubernetes + Volcano 静态划分资源池 统一资源池 Kubernetes + YARN Kubernetes + Volcano 集群低负载场景 K8s资源池空闲，大数据业务无法使用 大数据业务可以使用集群整体空闲资源， 提高整体资源利用率 集群高负载场景 通过静态划分的资源池保证大数据业务和通用 业务的资源配额 通过Volcano提供的队列保证各类业务资