Inc. All Rights Reserved. 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 Mocks Server 64. Prisma 运行时防护 65. Terratest 66. Thanos 67. Yalc 评估 68. ChatGPT 69. Codeium 70. GitHub 合并队列 71. Google Bard 72. Google Cloud 工作站 73. Gradio 74. KWOK 75. Llama 2 76. Maestro 77. Open-source 暂缓 暂缓 评估 评估 试验 试验 采纳 采纳 采纳 1. 设计系统 2. 轻量级的 RFCs 方法 试验 3. 具有可访问性意识的组件测试设计 4. 攻击路径分析 5. 自动合并依赖项更新 PR 6. 针对 FAIR 数据的数据产品思维 7. OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程

名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 规范 范例 应用名称 ai-dc-server ai-dc-web ai-dc-api 镜像版本和git版本库规范 制定git版本规范，开发提交合并master代码，git版本库和业务版本进行关联，出了问题好定位问题。 采用docker容器化之后，ci-cd由运维平台集中控制，git版本和容器镜像必需保持一致关联性，方便问题回溯。 git app-log log* daemonsets filebeat 容器启动挂载宿主/data/all-log到容器/data/all-log 容器启动时创建namespace和pod-name 创建软连接到logs目录 daemonset在每一个k8s-node节点启动 挂载/data/all-log目录 实时扫描发现新目录日志 logstash通过不同的消费groupid来消费同一 topic互不干扰，日志通过同一topic一分为 cadvisor和k8sapi接口 获取监控信息写入 influxdb influxdb存储时 序数据 普罗米休斯pull拉 取cadvisor接口和 k8sapi接口获取监 控信息写入存储 通过grafna连接不 同的数据源展示不 同的监控界面 方案1 方案2 kube-apiserver Metrics-Server metrics-server通过对 api重定向缓存监控进 入内存 pull

更好的灵活性 • 按需创建 • 无资源闲置 Serverless容器 敏捷开发 极致弹性 成本优化 容器 Build once, Run anywhere 没有语言和库的限制 连接Kubernetes生态 连接Cloud Native生态 无厂商绑定风险 Serverless Container Landscape Serverless容器典型场景和客户价值 在线业务 弹性扩容 Serverless ECS ECS ECS ECI ECI ECI ECI ECS ECS ECS ECS 物理机 物理机 弹性计算统一库存调度系统 Serverless容器未来挑战 启动效率 SLO弹性 并发创建 部署密度 咨询和答疑

运 维 平 台 容 器 平 台 运 维 平 台 Kubernetes 200 最大不可用数面向终态的应用管理 • 支持终态副本数保持 • 支持容器原地升级 • 保持 IP、卷 • 支持并发更新、容错暂停 • 支持镜像预热、按需下载镜像格式面向终态的风险控制 • 运维决策分散 - controllers - operators - rescheduler - kubelet UnitedDeployment (coming soon) https://openkruise.iok8s 规模及性能优化实践性能优化 RT/QPS 资源使用率 链路RT/QPS 服务异常 队列长度 gRPC监控 长连接分布 请求分布 限流 Authorization Authenticatio n 序列化 压缩 版本转换 Admission Cache Storage Filter Chain API balance ETCD Webhook Client Kubelets APIServer Http2 -> http1.1 Upgrade Etcd client v3.3.15 周期性重建连接 slb slb 直连 设置maxSurge• 客户端和服务端的同步机制 List & Watch优化 ETCD Cache Pod A V1 Pod A V2 Pod A V3 Reflector

逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed Index，与 快照 读有关 逻辑层 – 单 Key • 设计思路 • 性能优化 • 落地效果 • 未来演进 性能优化 写优化 - 1 降低锁粒度 存储引擎替换 表锁 -> 行锁，增大了写的并发 写优化 - 2 单点写 -> 多点写 multi raft range 分片，增大写并发 Brain 层无磁盘 io，只有网络 io 写优化 - 3 事务优化 精心设计 key 格式 一个 k8s 对象的索引和数据在同一分区内 对象的索引和数据在同一分区内 跨分区分布式事务 -> 分区内单机事务 读优化 - 1 Range 读 Unary -> Stream 代替分页，降低延迟 内存高效复用，避免 OOM 读优化 - 2 多分片并发读 通过并发，大大减少读时延 读优化 - 3 读写分离 follower 可以无限扩展，没有 raft 同步问题 读写之间无相互影响 读优化 - 4 Count 优化 基于周期性 Compact

全 权限控制简单便捷 提供界面，分配镜像的访问权限 对接DevCloud、GitHub、GitLab，一键式完成从代码下载到 镜像构建的完整流程，并支持对接CCE完成镜像部署 高性能 支持大规模并发构建业务 自动化 代码更新时自动触发镜像构建 容器镜像服务SWR ：支持镜像自动化构建，实现源码到镜像的自动化流程 第三方代码库对接 多租户、多用户权限隔离 17 案例：高性能容器服务，助力 •采用容器混合云方式，业务高 峰时将负载弹性到华为公有云 上，解决降成本后私有云资源不 足的问题 •业务高峰期仅4-5个月，采用弹 性的公有云资源，帮助客户达成 50%的降成本目标 •采用华为云高性能物理机服务 器，满足高并发时的用户体验 容 器 容 器 https (push image) 方案： •通过远程API调用方式，实现线上线下容器集群的统一管理和运维 •线上镜像仓库与线下仓库同步，云上集群直接从线上仓库获取镜像，提升了应用部署速度 租赁及软硬件维保费用530 万元/年 1160 万 … … … 节约投资 Equipment 节约成本 530 万 中移动咕互娱运维平台承担所有业务APP用户鉴权、计费前端和广告推送，高峰并发请求25000次/秒、1.2亿次/小时。 客户问题： •资源利用率低：虚拟化模式弹性能力差，平台容量按最高业务峰值设计（300VM，4C8G），日常负荷下平台利用率<30%（一半时间利用 率<10%），造成资源极大浪费

(include buffer IO) GPU 背景：广告业务，8个集群，4个在线集群，4个离线集群， 分布在四个地区：北京、天津、成都、深圳。 需求：减少机器，降低成本。 手段：在线离线集群做合并。 问题：容器只能管理CPU和内存，不能对网络和磁盘IO做 管理，导致在线应用受离线业务影响。 一次现网事故 一个用户需求 可靠 设计目标 ◼在某个cgroup网络繁忙时，能保证其设定配额不会被其他cgroup挤占 Host Bridge NAT IPIP+Gateway混合Overlay方案 •短链接IPIP包量比Vxlan多14.1% •Gateway比Vxlan多40.5% •方案被Flannel社区合并 Underlay方案 • Bridge方式仅比Host差6%，一般 overlay比Host差20~40% • SRIOV方式比Bridge CPU下降38.3%， 包量+6% 性能

I/O 的存储需求，提升运 维管理效率。精选各类数据库、分布式消息和日志检索等中间件，提供多租户、部 署、观测、备份、运维操作等全生命周期的中 间件管理能力，实现数据服务的自助化 申请、弹性扩展、高并发处理和稳定高可用。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵入式流量 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。 涉及的模块：全局管理、容器管理、应用工作台、云原生网络、云原生存储、镜像仓 库 云原生底座 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建

unschedulable Kubernetes 控制器 CronJob CronJob Job Pod 1. 定时执行的批处理任务 2. 定时任务并发策略 * Allow * Forbid * Replace 3. 支持单任务并发控制 一个简单的编排案例 Client API DB API Proxy DB Proxy DB Backup Monitoring Deployment

Replication Controller：负责维护系统中每个replication controller对象具有正确数量的Pod。 Endpoints Controller：填充Endpoint对象（即：连接Service＆Pod）。 Service Account & Token Controllers：为新的namespace创建默认帐户和API access tokens。 cloud-controller-manager Route Controller：⽤于在底层云基础设施中设置路由 Service Controller：⽤于创建、更新以及删除云提供商负载均衡器 Volume Controller：⽤于创建、连接和装载Volume，并与云提供商进⾏交互，从⽽协调Volume 04-K8s组件 15 kube-scheduler kube-scheduler 监视新创建的、还没分配Node的Pod，并选择⼀个Node供这些Pod运⾏。 probes）。 在必要时创建mirror pod ，从⽽将pod的状态报告回系统的其余部分。 将节点的状态报告回系统的其余部分。 kube-proxy kube-proxy 在主机上维护⽹络规则并执⾏连接转发，从⽽来实现Kubernetes服务抽象。 docker 04-K8s组件 16 docker ⽤于运⾏容器。 rkt rkt 是⼀个Docker的替代品，⽀持在实验中运⾏容器