Alluxio 助力 Kubernetes， 加速云端深度学习 范斌 Alluxio 创始成员 车漾 阿里云高级技术专家 目录 • 我们是谁 • 问题背景 • Alluxio 助力云原生 AI 模型训练 • 相关资料 • Alluxio 是谁 • Allluxio 与 Kubernetes 结合 • Alluxio 优化实践 我们是谁？ 车漾 阿里云高级技术专家 范斌 (1GPU) P100 (32GPU) V100 (8GPU) V100 (32GPU) RestNet50 模型训练速度（images/second） 分布式训练/GPU硬件升级加速明显 模拟数据训练时间 108 15.12 4.62 3.39 1 0 20 40 60 80 100 120 P100 (1GPU) P100 (8GPU) P100 (32GPU) 元 P100 1卡：12.78 元/小时 x108 = 1380.24 元 数据访问的新挑战 1.强大的算力需要匹配的I/O吞吐 2.计算存储分离导致I/O延迟 3.单机缓存无法满足海量数据加速 9993.6 3189.6 0 2000 4000 6000 8000 10000 12000 Synthetic ESSD云盘 PL2 RestNet50 模型训练速度 （images/second）

.......................................................................................... 1 （一）各国加速推进云计算战略，聚焦云计算赋能行业价值........................ 1 （二）云市场进入稳定增长阶段，行业巨头进一步扩大领先优势................ 3 （三）云 （二）云计算管理方式不断革新，向下定义算力资源使用新方式.............. 27 （三）云计算持续发挥创新孵化效用，向上定义数字应用新界面.............. 30 四、云计算加速催生算力服务新范式..................................................................... 32 （一）架构方面，云计算支撑算力服务以数据为中心 年中国部分省市云计算相关政策..................................................11 云计算白皮书（2023 年） 1 一、全球云计算发展概述 （一）各国加速推进云计算战略，聚焦云计算赋能行业 价值 美国继“云优先”（Cloud First）、“云敏捷”（Cloud Smart）之后， 又出台多个战略文件，将云计算应用至相关领域，旨在确保其在经

框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术 CNI，提供 eBPF 内核加速，实现跨集群 Pod 通 信和跨集群 Service 通信，以及支持灵活的细粒度网络策略下发和丰富的流 量观测能力。 版权 © 2023 DaoCloud 第 16 页 在此方案组合中，Cilium 为必备的网络 CNI。 4. 通过 MacVLAN / SRIOV / IPVLAN CNI 提供对外访问 IP，实现 Pod 二层对 外通信能力。 搭配 如果在应用落地场景中，未安装 Underlay CNI，可以不安装 SpiderPool。 3. 通过 MacVLAN / SRIOV / IPVLAN CNI 提供对外访问 IP，实现 Pod 二层对 外通信能力。 搭配 Calico 动态虚拟网络，降低网络运维难度，节省 IP 资 源。 在此方案组合中，Calico 为必备的网络 CNI。如果在应用落地场景中，没有 对外访问需求，可以不安装

的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管控。随着大语言模型日益复杂，我们正在深思如何在 自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 和 Wiz 是两个此类工具。我们建议管理复杂基础设施的团队在为组织设计安全策略或选择安全分析工具时考虑这 可用的状态管理选项中，我们想突出 Bloc，因为我们团 队在使用该库构建复杂移动应用程序时体验很好。当 UI 组件通过流和事件接收器与业务逻辑进行通信时，围绕 BLoC 模式 结构化的组织代码实现了业务逻辑与表示层的完全分离。Bloc 在 IntelliJ 和 VSCode IDE 中都提供了 良好的插件支持。 48. cdk-nag 试验 cdk-nag 能够识别并报告 AWS CDK 应用程序或 CloudFormation

• 无缝升级应用 • 硬件隔离 Kubernetes 介绍 LXC (Linux Container) 介绍 在单一系统的内核层通过一套 API 在应用层提供硬件及软 件环境隔离的 Linux 环境（containers 。在内核层，通过 cgroup 来提供硬件环境的隔离（例如 CPU，Memory， Block I/O，网络等等 和通过 namespace 来提供软件层面 • kube-scheduler Kubernetes 与 Container 通信框架 Kubernetes 通过 CRI (Container Runtime Interface) 层将 Kuernetes 与具体的 Container 管理工具隔离，并且可以进行 Container 的操作。 在 Node 上的层次关系 通过 Label 的方式将 Node 分类 • 机器学习最难的地方在于特征的提取，而深度学习认为特征 提取是可以通过人工神经网络学习而得出结论的。深度学习 在非结构化数据方面有很大的优势。 卷积神经网络 - CNN 通过卷基层和池化层的网络结构进行不断的对图像的特征提取 数组运算并行化 – CUDA by Example 将数组 a 和数组 b 相加并将计算结果放入数组 c 中。 数组运算并行化 – CUDA by Example

for Kubernetes 主机 容器在哪里运行 Amazon EC2 AWS Fargate 服务注册发现 云端服务的黄页 AWS Cloud Map 服务网格 服务间通信的基础设施层 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential Amazon or its Affiliates. All rights reserved. Amazon Confidential 自由 - 选择需要的实例类型 标准的EC2计算实例类型 P2和P3 的GPU加速实例 I3裸金属实例 竞价实例 © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon 借助云原生的负载均衡能力暴露Service • 每个通过 LoadBalancer（ELB或NLB）暴露出来 的Service获得自己的访问地址 • 可封装 L4 (TCP) 或 L7 (HTTP) 层Service • NLB 支持客户端访问IP地址透传到后端节点 Kubernetes ServiceType: LoadBalancer © 2019, Amazon Web Services

Kubernetes 如何為貴企業選擇合適的Kubernetes發行版本 2022年7月 執行摘要 採用容器優先方法的企業，將能享有無可比擬的機會，協助提升效率及資源使用 率、加強安全性、導入自動化及加速創新；因此Gartner預測將有75%的全球組 織，在2022年之前於正式作業執行容器化應用程式，而這樣的數據並不會讓人 感到驚訝。1 Kubernetes已經成為管理容器化工作負載和服務的頂尖開放原始碼平台，不過 GPGPU支援加速工作負載 對許多工作負載而言，將部分應用程式運算密集作業由中央處理器(CPU)卸載 至 通 用 繪 圖 處 理 器 (GPGPU)， 有 助 於 加 速 效 能 。 GPU 加 速 也 適 用 於 位 在 Kubernetes 的應用程式，只要 Kubernetes 發行版本支援即可。 Canonical Kubernetes、OpenShift及Rancher均支援GPU加速。不過如 如 果是在邊緣環境，MicroK8可提供GPU加速，但K3並未提供此項功能。 18.安全性 Canonical Kubernetes是在不可變容器中執行，因此開箱後可立即提供卓越的安全 性，此外也會針對最近的5個Kubernetes版本提供安全性修補，作為擴展安全性維 護計畫(ESM)的一部分。與K8s RBAC, Active Directory及LDAP整合、預設CIS強化、 靜態加密以及

对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker 有状态应用模型等能力； • 可纳管最新的Windows 1709系统，支持启动Windows Native容 器。 12 CCE支持GPU异构计算能力，帮助企业高效灵活应用深度学习服务 • 将旧的加速计算应用程序容器化，并部署 在较新的系统或者云环境中。 • 将特定的 GPU 资源分配给容器，以获得 更好的隔离效果和性能。 • 轻松地跨不同的环境共享应用程序、协同 工作和测试应用程序。 序，人体健康监测，大数据分析等生物健康产品及解决 方案。 挑战： • 全基因测序原始数据约100GB/人，数据分析性能要 求高 • 测序需求多样，测序流程难以灵活自定义 基于容器的生物信息分析平台 • 结合FPGA加速计算可进一 步压缩成本 基因测序（测序仪） 数据上传 源数据 存储 基因拼接/对比/注释 数据 分类 存储 核心数据 取回本地 自动化部署 数据库 SFS/OBS 计算 BMS/ECS/FPGA

服务割裂，申请流程 人工参与的半自动化 资源使用率低 底层资源使用率低 规范落地困难 系统分散，难以统一 自服务平台 高效协作，加速迭代 7 2017 Lenovo Internal. All rights reserved. 背景和挑战 • 容器之道 加速 交付 统一 规范 构建 平台 节约 资源 8 2017 Lenovo Internal. All rights reserved 2017 Lenovo Internal. All rights reserved. 让一切自动化--工欲善其事，必先利其器 • 从设计开始之初就把自动化理念融入进来 • 充分利用Docker的优势，加速平台的迭代 • 配置即代码 环境安装 配置管理 部署上线 集群安装运维自动化 组件安装运维自动化 服务部署上线自动化 19 2017 Lenovo Internal. All rights

版本Signoff ü 交付内容标准化规范化 ü 交付内容版本可追踪 ü 交付内容关联需求 ü 交付内容关联开发任务 ü 交付内容管理变更范围 ü 使⽤⾃动化测试⼯具快速 校验交付质量，加速测试 效率 ü 按照编写好的测试case进 ⾏⼿⼯测试 ü 版本发布⾯板，跟踪版 本发布进度 创建发版⼯单 测试环境部署 测试 ü 平台容器化快速部署 ü 保证测试环境和开发环境 ⼀致 上线运维场景 供了⼤量业界经过⼤量验证的规则规范，增加了⼤量 ⾃动化⼯具协助开发⼈员，测试⼈员与运维⼈员完成 相应⼯作，极⼤提升了⼯作效率。 需求有效管理 增加交付频率 降低交付⻛险 识别过程资源浪费 加速需求响应时间 团队效率的整体提升 加快开发迭代速度 DEVOPS平台成果 价值 ⼯具 流程 规范指南 认证体系 成熟度 ⾓⾊职责 14x8x5 14个⾓⾊ 8个职责 5个权限组