Volcano加速金融行业大数据分析平台 云原生化改造的应用实践 汪 洋, 华为云 Volcano 社区核心贡献者 大数据平台云原生面临的挑战 传统大数据平台云原生化改造成为必然趋势 大数据分析、人工智能等批量计算场景深度应用于金融场景 作业管理缺失 • Pod级别调度，无法感知上层应用 • 缺少作业概念、缺少完善的生命周期的管理 • 缺少任务依赖、作业依赖支持 调度策略局限 on demand reclaim Re-construct JobInfo in Cache by PodGroup Job JobSpec 用户案例：荷兰ING银行大数据平台云原生化改造 • Platform Entry-point • Project Management Data Science in a box (Advanced analytics toolbox)

Service Mesh 改造 探索 Istio 技术点 Dubbo 场景下 的改造 • 对比传统微服务架构 • 和 Service Mesh 化 之后有哪些优缺点 • MCP • Pilot • xDS • MOSN 结合 Istio 的技术点， 介绍多点生活目前的 探 索 以 及 服 务 发 现 Demo 的演示3/23 为什么需要 Service Mesh 改造 /01 对比传统微服务架构和 CDS 和 EDS13/23 MOSN-listener14/23 MOSN-routers15/23 MOSN-cluster16/23 Dubbo 场景下的改造 /03 从数据面、控制面两个方面来介绍如何改造17/23 改造方案1 Istio+Envoy • 通过创建 EnvoyFilter 资源来给 xDS 资源打 patch • Envoy 解析 Dubbo 协议中的 Serivce html18/23 改造方案2 MOSN+Dubbo-go • MOSN 提供 Subscribe、Unsubscribe、Publish、Unpublish 服务 • SDK 发送请求 MOSN 提供的服务 • MOSN 通过 Dubbo-go 直接和注册中心连接19/23 改造方案3 Istio+MOSN • 数据面改造 • 控制面适配20/23 数据面改造21/23 控制面适配

的业务场景，数据应用也不例外，目前都在 进行服务化改造和云原生改造 • 大数据引擎早就上云了(IaaS),但是并未云原 生化。 • 但是大数据引擎平台，架构思路过时、组件 众多、体系完整等，以及组织认知和能力、 在线业务的依赖等等，大量的历史包袱导致 大数据平台在云原生环境下落地艰难。那么 如何实现大数据云原生化呢？立足满足现在 和未来的企业需求进行渐进式改造推进是比 较合理的方式。(阿里巴巴甚至根据新时代的 较合理的方式。(阿里巴巴甚至根据新时代的 诉求，把原先的大数据平台JStorm都给舍弃 掉，全面奔向MaxCompute云原生体系) 高级能力-云原生大数据|AI-业务赋能的基石-2-架构改造上的问题和困难 • 弹性扩缩容能力无法满足快速增长的业务需求：随着业务的发展，流量和数据量突增，尤其对于实时计算，需要资源 能够及时的扩容，以满足业务需求。尽管一些大数据管控平台尝试实现自动的扩缩容（如通过集群负载情况，进行扩 容），然而 导致使用成本过高 操作系统和应用部署复杂 拖慢业务发布 云原生化可以解决上面的问题，演进的挑战有： 改造成本高 迁移风险高 组织架构造成额外的成本 主要体现在Yarn的复杂性 主要体现在领域专业性上 应用改造成本高：将运行在Hadoop平台的大数据应用迁移到云原生平台，一方面需要大数据团队将业务应用进行 容器化改造，如系统任务的启动方式、基础设施的适配（环境变量、配置文件获取方式的变更等），这些都需要

Overhead 太高，但是彼此之間又沒有交集 Hadoop 掌握所有資料 (HDFS)，但是只有一種玩法 (MapReduce)？ 12 / 74 改造好呢？還是放棄好呢？ 13 / 74 進擊的 Hadoop 14 / 74 改造 MapReduce Hadoop 掌握所有資料 (HDFS)，但是提供多種玩法 (YARN)！ 希望把 Hadoop 從 Batch 應用變成 Data MapReduce 改造前 Hadoop 原來的架構，MapReduce 是一切應用的基礎 所有 Job 都得轉換成 MapReduce 16 / 74 MapReduce 改造 Phase 1 先把 Resource Management 從 MapReduce 拉出來，變成 YARN Other YARN Frameworks 就有存在的可能了 17 / 74 MapReduce 改造 Phase 74 MapReduce 改造 Phase 3 把原先跑在 MapReduce 上的應用 (Hive、Pig)，搬到更適合的 Computing Framework (比方說 Tez) 19 / 74 HDFS 也變強了： High Availability 可以有多個 Namespace 可以做 Snapshot I/O 速度快 2.5-5 倍 ... 改造 HDFS -> HDFS2

年成都高新区支持企业数 字化智能化技术改造申报对象范 围和补贴政策》 鼓励企业“上云用数赋能”，对评 为四川省五星级、四星级、三星级 上云企业称号的，分别奖励 20 万 元、10 万元、5 万元。 重庆 2023.3 《关于印发推动川南渝西地区融 合发展总体方案的通知》 以电子信息、智能装备、新材料产 业为引领，推动战略性新兴产业融 合集群发展，加快传统产业改造升 级，协同发展智能终端、云计算等 模式层面，应用现代化赋能全场景应用，加速产业数字化升级。 应用现代化是一个长期的、持续演进的，通过应用的现代化建设不 断贴近从而最终实现业务价值、达成企业战略目标的过程，涵盖旧 应用的现代化改造和新应用的现代化构建。云原生是云时代背景下 构建现代化应用的最典型技术方案，但应用现代化并非单纯依靠技 术手段达成，需要完整的建设方法论，具体包含五个方面，如图 7 所示：一是应用架构现代化，依据分而治之、开放设计、统一风格 梯队行业上云一般具有业务流程长且复杂、数据来源多且流通差、 IT 技术储备不足等特点，具体表现为：一是应用系统多样复杂，难 以云化改造。当前，第三梯队行业信息化整体程度较低，系统技术 依赖性强、二次开发难度高，难以实现应用现代化改造，如石油化 工涉及生产维护、炼化生产、供应链协调等多个系统，整合改造门 槛高。二是存在数据孤岛现象，云上安全流通受阻。传统工业数据 生成速度快，管理难度大，来源包括生产各个环节的传感器、监测

This is an outbound request, it should be send out to 10.75.8.101产品化增强-支持多网络平面 我们对Istio的代码进行了改造，增加了多网络平面支持。 Pilot Service Registry Envoy Service A Register service (IP :10.75.8.101) 10.75.8 -例子：Envoy的LB算法不能处理应用后端集群的Sharding Ø Istio中和HTTP Service 端口冲突会的TCP Service请求会被Envoy直接丢弃 - 要求对应用进行改造，避免端口冲突 建议 Ø 将TCP纳入Service Mesh管控还不成熟，成本远大于收益 Ø Service Mesh应主要关注L7，而不是L4 Shard A Shard B Shard 方案一：通过IPtables bypass TCP流量 通过IP段或者端口范围区分HTTP和其他TCP流量 - 需要对应用进行改造 l 方案二：在Envoy中 bypass TCP 流量 -不需要对应用进行改造，但Envoy要具备区分TCP和 HTTP流量的能力，需对Envoy进行改造 改造方案： Ø Envoy侧：通过一个自定义的envoy listener filter区分HTTP 和非HTTP的TCP流量

Airflow 等作业调度工具 Datawroks Studio 4.2 MMA 功能介绍 4.2.1 迁移评估分析 在迁移对 Hadoop 平台进行诊断分析，评估数据迁移规模、作业迁移改造的数量、预估迁 移后的成本，从而对迁移工作进行整体评估和决策。 4.2.2 数据迁移自动化 利用迁移工具，可以对 Hive Meta 及数据进行检测扫描，自动在 MaxCompute 创建对应 利用迁移工具，可以对 Hive 作业进行兼容性分析，识别出需要修改的任务并提供针对性的 兼容性修改建议。对于用户自定义逻辑的分析任务，如 UDF、MR/Spark 作业等，我们将给出 一般性的改造建议供用户参考。 4.2.4 数据集成及工作流作业迁移 迁移工具支持对主流数据集成工具 Sqoop 进行作业的迁移转换，并自动创建 Dataworks 数据集成作业；迁移工具支持主流 Pipeline ，制定迁移方案和计划。 5.2 阶段 2：试点/全面业务迁移 在确定开展迁移工作后，需要准备 MaxCompute 相关环境，并开展数据、分析作业、工作 流任务的改造和迁移工作。借助迁移工具，能够加速迁移改造的进程。 同时，需要对当前系统与 MaxCompute 环境进行业务对比验证，确定迁移的正确性。 迁移开展时，您可以选择部分试点业务迁移或全量业务进行迁移。对于规模较大的用户，建

WeiboMesh 微服务 1 容器器化 2 DevOps 3 云原⽣生 4 服务治理理与业务逻辑解耦，可持续交付跨语⾔言服务化⾯面临的问题 • 改造成本 • 服务治理理Service Mesh Meetup · BeiJing 改造成本 �8 微博Service Mesh实践 - WeiboMesh Server(php/java/..) golang/php/java Registry 微博Service Mesh实践 - WeiboMesh ➢ 提供HTTP/cgi provider，可扩展 ➢ HTTP框架⾃自动转RPC，业务⽆无需开发新RPC框架 ➢ 不不影响原有服务的提供 ➢ 改造成本极低Service Mesh Meetup · BeiJing Weibo Mesh的收益 �34 微博Service Mesh实践 - WeiboMesh 1-跨语⾔言服务化 3-可靠的Transport

安全软硬件一体解决方案 Intel QAT Cavium Nitrox软硬件一体解决方案 SSL握手性能 提升3倍 • 对Spanner实现了异步化改造 • 对openssl进行了异步化引擎改造 • 实现多芯片卡的负载均衡协议实现的改造-MTLS MTLS：1) 轻量级TLS库，小于50k；2) 优化的TLS协议 0-RTT • 减少握手延迟 • 代价：握手前发送的数据不能 保证防重放攻击，因此要求应

sidecar-ip:sidecar-port store: b-ip:b-port to: b-ip:b-port b-ip, b-port=getOriginalDest() 都没有改造，直连 服务器端有改造，单跳 客户端有改造，单跳Service Mesh时代的客户端和寻址方式 服务发现 加密 负载均衡 请求路由 目标服务 的标识 序列化 链路追踪 故障注入 日志 监控 Metrics 熔断