Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 资源规划复用、异构计算支持不足 • 缺少队列概念 • 不支持集群资源的动态规划以及资源复用 • 对异构资源支持不足 传统服务 大数据 人工智能 云原生大数据平台 大数据、AI等批量计算场景 云原生化面临的挑战 Volcano 架构 项目概况： • 业界首个云原生批量计算平台 • 2019年6月开源，2020年进入CNCF，目前是CNCF孵化级项目 • 2.9k star，500+ 全球贡献者 Plugins on demand reclaim Re-construct JobInfo in Cache by PodGroup Job JobSpec 用户案例：荷兰ING银行大数据平台云原生化改造 • Platform Entry-point • Project Management Data Science in a box (Advanced analytics toolbox)

体验。 • 底层Data Chunk，采用去中心存储，单体失败不影响数 据的完整性，并且自动自愈(Serverless)。 • 通过跨域数据同步能力，实现多地域数据多活。 这个例子，也给数据库云原生化上的技术架构演进提 供了一个范本，并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 或者由于云原生数据库支持多协议能力， 比如原生APP使用MYSQL协议访问传统数 据库，可以不加修改的，还是使用老的 MYSQL协议驱动，依然可以和云原生数据 库进行连接。 高级能力-云原生存储-应用的基石-1-云原生化需求（从应用角 度） 我们从云原生数据库那里基本可以嗅出云原生对四大件的诉求性质了，所以这里我直接给出对云原生存储的要求 1. 敏捷化需求 • 云原生应用场景对服务的敏捷度、灵活性要求非常高，很多 物理资源按需扩缩容 高级能力-云原生中间件-应用的基石-MQ为例-2-Mesh化 中间件和服务以及其他组件一道组成一个完整应用，就像前面说的电商场景，如果服务云原生化了，中间件就成了 短板，这就是云原生领域一个著名的推断：云原生化能力是否落地往往主要影响要素在最短板的那一个-水桶效应。 MCP Server NameServer Citadel Mixer Pliot Galley Injector

涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 CI/CD 流水线，集成丰富的工具链 并支持流水线高效并发执行流转，自动化完成应用的构建、部署，创新性引入 Gitops、渐进式交付能力体系，实现应用更精细的管理运维。 涉及的模块：全局管 等开源生态，帮助您更便捷地使用开源微服务技术构建自 己的微服务体系。 微服务注册与发现 统一纳管传统微服务和云原生微服务，实现从传统微服务生态向云原生微服务 生态的平稳过渡，助力企业走向云原生化。 ➢ 支持创建 Nacos 托管中心，进而管理微服务命名空间、治理微服务流量、管理微服务 配置、链路追踪与监控等。 ➢ 支持接入 Eureka、Zookeeper、Nacos 三类传统的微服务注册中心。 2023 DaoCloud 第 17 页 存储 云原生化存储的几种类型 1. 传统存储云原生化，通过 CSI 标准 同 Kubernetes 平台对接，此类 型相对来说比较普遍， 用户可利用现有存储，并且基于传统存储的 提供云原生存储能力稳定性好，SLA 强保障。 2. 软件定义存储云原生化，软件定义存储，兼容传统应用和云原生应 用。同样基于 CSI 标准同 Kubernetes

临的威胁，并研究云原生安全能力，能够为企业整体的云安全防护体系建立提供 帮助，从而保障企业业务和数据更安全的在云上运转。 1.1 云原生及云原生安全 过去十年，企业数字化转型加速推进，相继经历了服务器、云化到云原生化 三个阶段。在云化阶段，云主机是云计算的核心负载之一，云主机安全是云安全 的核心；在云原生阶段，容器和无服务器计算成为核心工作负载，容器安全、 Serverless 安全、DevSecOps 成为云安全的核心。自开源 分析了不同的组织和企业对云原生安全理念的理解，其中包括 CNCF 认为云原 生安全是一种将安全构建到云原生应用程序中的方法[3]、k8s 提出的云原生 4C 安全模型[4]、腾讯所理解的云原生安全指云平台安全原生化和云安全产品原生化 [5]，并给出我们对于云原生安全的理解，即云原生安全是云原生理念的延伸，旨 在解决云原生技术面临的安全问题。 CSA 发布的《云原生安全技术规范》中给出了云原生安全框架[6]，如图 3 云原生安全威胁分析与能力建设白皮书 14 编排、开发运营一体化等。通过软件定义安全架构，构建原生安全架构，从而提 供弹性、按需、云原生的安全能力，提高“防护—检测—响应”闭环的效率； （3）在安全设备或平台云原生化后，提供云原生的安全能力，不仅适用于 通用云原生、5G、边缘计算等场景，还可以独立部署在大型电商等需要轻量级、 高弹性的传统场景，最终成为无处不在的安全。 1.2 云原生安全发展 云原生在改

制作 违法犯罪工具等。 （c）两用物项和技术滥用风险。因不当使用或滥用人工智能两用物项和 技术，对国家安全、经济安全、公共卫生安全等带来严重风险。包括极大降低 非专家设计、合成、获取、使用核生化导武器的门槛；设计网络武器，通过自 动挖掘与利用漏洞等方式，对广泛潜在目标发起网络攻击。 3.2.3 认知域安全风险 （a）加剧 “信息茧房” 效应风险。人工智能将广泛应用于定制化的信息 严格落实关于用户控制权、知情权、选择权等法律法规明确的合法权益。 （b） 加强知识产权保护，在训练数据选择、结果输出等环节防止侵犯知 识产权。 （c） 对训练数据进行严格筛选，确保不包含核生化导武器等高危领域敏 感数据。 （d） 训练数据中如包含敏感个人信息和重要数据，应加强数据安全管理， 符合数据安全和个人信息保护相关标准规范。 （e） 使用真实、准确、客观、多样且来源合法的训练数据，及时过滤失 2.2 现实域风险应对 （a）根据用户实际应用场景设置服务提供边界，裁减人工智能系统可能 被滥用的功能，系统提供服务时不应超出预设应用范围。 （b）提高人工智能系统最终用途追溯能力，防止被用于核生化导等大规 模杀伤性武器制造等高危场景。 4.2.3 认知域风险应对 （a）通过技术手段判别不符合预期、不真实、不准确的输出结果，并依 法依规监管。 （b）对收集用户提问信息进行关联分析、汇聚挖掘，进而判断用户身份、

云原生应用平台负责人丁宇表示，今年双11实现了核心系统全面云原生化的重大技术 突破，实现资源效率、研发效率、交付效率的三大提升，万笔交易的资源成本4年下降80%，研发运维效率平均增效10%以上，规模化应用交付效率 提升了100%。阿里巴巴在2020双11完成了全球最大规模的云原生实践。 与2019年全面云化相比，2020年全面云原生化革命性重构了双11“技术引擎”。从产品和技术两方面来看，产品侧，阿里云通过提

管理没有跟上企业信息系统的变革，另一方面是因为缺乏资产可见性、 安全配置不当和缺乏运营机制等原因，使得安全防护体系失效、出现 问题难定位。因此，云上安全不仅是技术体系的建设，还需要精细化、 原生化的安全治理。首先，需要企业从战略顶层设计、组织文化上接 受云原生安全理念，变革组织管理和人才培养体系，提倡责任共担和 安全内嵌。其次，正确的安全配置是安全防护的前提，持续的安全运 营才能充分发挥安全效能。 路径上，我国云计算发展“以终为始”，将更加关注对用户的实 际赋能水平。经过十余年的发展，云计算本质已经发生根本改变， 实现了由最初虚拟化技术向数字世界操作系统转变，完成了从以服 务和资源交付向云原生化价值赋能的升华。云计算已经越过了以技 术为核心，需求向下满足供给的发展阶段，走向以应用为核心，供 给向上满足需求的发展阶段。未来，云计算技术的关注点将持续上 移，松耦合、可组装、易操作的应用现代化能力将成为关注重点；

支持二次虚拟化：使多样虚拟化技术 (Kata, Firecracker 等) 的探索和创新成为 可能 • ASI (k8s) + 容器 (runc / runv / kata / ..) + 神龙 = 阿里云原生化 的最佳组合 • 最大的电商平台之一，并池最佳化资源利用率 • 大规模混部、优先级差异化提升资源使用效率 • Alibaba Serverless Infrastructure (ASI) 的基石上云效率提升

• 背景介绍 • 设计思路 • 性能优化 • 落地效果 • 未来演进 背景 • Kubernetes 规模增大 10 倍以上  公司业务快速发展  存储、大数据、机器学习等场景云原生化 • 新场景对 Kubernetes 性能要求更高  离线场景，Pod 生命周期短、变更频率高 如何扩展 Kubernetes 集群 单个集群规模垂直扩展 多个集群横向扩展  降低运维管理成本

Mesh将会是微服务设计的更好方式Service Mesh的核心价值 实现 业务逻辑 和 非业务逻辑 的分离 Ø 为下沉到基础设施提供可能 Ø 帮助应用轻量化，专注业务 Ø 实现应用的云原生化1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Mesh微服务设计 4 Service Mesh的框架介绍什么是Service MeshService Mesh的定义