从【数据库中间件】到【云原生】 ——Apache ShardingSphere 架构演进 Apache Dubbo/ShardingSphere PMC 秦金卫（kimmking） 2020-12-04 20:00 云 原 生 学 院 # 1 2 目录 1.数据库框架：从数据库的性能与容量到数据库框架技术的产生 2.数据库中间件：从框架技术到分布式的数据库中间件技术 3.分布式数据库：从数据库中间件技术发展到分布式数据库 4、缺乏较好的数据平滑迁移和过渡方案； 5、Java Only（或其他）。 数据库框架使用的约束： 2.数据库中间件 2.数据库中间件 作为中间件，独立部署，对业 务端透明。 任何语言平台的系统都可以接 入，可以使用mysql命令或者 IDE操作。 对业务系统侵入性小。 透明化的引入中间件，像一个数据库一样提供服务能力。 2.数据库中间件 1、框架本身的一些问题； 2、需要单独的资源部署，以及维护； JDBC、Proxy 和 Sidecar（规划中）这 3 款相互独立，却又能够 混合部署配合使用的产品组成。 它们均提供标准化的数据分片、分布式事务和 数据库治理功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的 应用场景。 5.数据库解决方案 Level 3：Sharding-Proxy中间件（3.x+） Level 2：Sharding-JDBC框架（1.x+） Level

https://github.com/wangfakang MOSN 开源交流群2 目 录 MOSN 云原生演进历程 01 MOSN 网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调研，到产品孵化，历经重重困难，最终通过双 11 规模化验证。借力开源、反哺开 MOSN 简介 — 开源社区 Committer 非蚂蚁 蚂蚁 定位：云原生网络代理平台 开源理念  社区是开源软件发展的动力  借力开源，反哺开源  持续向云原生演进 Star: 3100 Committer: 10 Contributor: 78 Corporate users: 20+ Commits: 4894 Release: 27 MOSN 简介 MOE = MOSN + Envoy 相互融合，各取所长 在 Service Mesh 领域，Envoy 和 MOSN 作为 其数据面 Sidecar 之一 ，用于解决传统服务治 理体系下的痛点如：多语言中间件组件开发适配 成本高、SDK 升级困难、技术复用度差、治理体 系不统一等。 MOE 背景介绍 — 为什么做 用户痛点 • east-west、north-south Gateway 技术栈不统一，

MoE = MOSN + Envoy 相互融合，各取所长 在 Service Mesh 领域，Envoy 和 MOSN 作为其数据面 sidecar 之一 ，用于解决传统服务治理体系下的痛点如： 多语言，中间件组件开发适配成本高、SDK 升级困难、 技术复用度差、治理体系不统一等。 MoE 背景介绍 — 为什么做 用户痛点 • east-west、north-south Gateway 技术栈不统一， 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不方便 支持的库（SDK）相对较少 WASM Extension 跨语言语言支持（C/C++/Rust）、 隔离性、安全性、敏捷性 处于试验阶段，性能损耗较大； WASM 目前仅对C/C++/Rust 友好， 对 GoLang GoLang Runtime 还未完全支持； 不能复用已有的 SDK，需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力，

可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合了上面两种的优点并克 底层Data Chunk，采用去中心存储，单体失败不影响数 据的完整性，并且自动自愈(Serverless)。 • 通过跨域数据同步能力，实现多地域数据多活。 这个例子，也给数据库云原生化上的技术架构演进提 供了一个范本，并不是原封不动的迁移就变成云原生 高级能力-云原生数据库-应用的基石-3-场景 数据源 数据日志 消息数据 订单数据 云原生 DB 高并发写入 用户 MR 云DB 用户 日志消息类数据实时分析 资源后，应用的部署涉及到依赖部署、服务部署等环节，进一步拖慢应用的发布。 资源弹性扩容不及时 无法满足业务需要 资源使用率低 导致使用成本过高 操作系统和应用部署复杂 拖慢业务发布 云原生化可以解决上面的问题，演进的挑战有： 改造成本高 迁移风险高 组织架构造成额外的成本 主要体现在Yarn的复杂性 主要体现在领域专业性上 应用改造成本高：将运行在Hadoop平台的大数据应用迁移到云原生平台，一方面需要大数据团队将业务应用进行

DeepFlow 5.3 Elasticsearch DeepFlow 5.1 1x ClickHouse DeepFlow 5.7 3x 300x 100K 300K 100M DeepFlow的演进之路 (每秒列读写速率) InfluxDB+ DeepFlow 5.5 30x 2M 18mon 18mon 18mon Metrics Tracing Logging Tag, Exemplars growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 解决团队耦合的问题 —— “演进”的思路 https://ebpf.io/ simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd Ltd. All rights reserved. 效果1：服务访问关系全自动展现 DeepFlow：零侵入、零重启，全景访问关系+全息知识 图谱，无论业务如何迭代，自动呈现实际应用架构。 开发语言、开发框架百花齐放，现有APM高度依赖代 码插桩的监控方式能满足业务高速迭代的需求吗？ simplify the growing complexity © 2021, YUNSHAN Networks

OpenFunction 的异步函数来驱动吗？ ⾃定义⽇志告警 以 Serverless 的⽅式⽤ OpenFunction 异步函数实现⽇志告警 OpenFunction 社区 交流、参与、演进 OpenFunction Roadmap OpenFunction Community → https://github.com/OpenFunction 主要仓库 → https://github ⽂档：Nebula 架构 官⽹：⽤户案例 ⼀个可靠的分布式、线性扩容、性能⾼效的图数据库 世界上唯⼀能够容纳千亿顶点和万亿条边，并提供毫秒级查询延时的图数据库解决⽅案 云原⽣时代的图数据库 容器化部署演进 Nebula Docker Nebula K8s Nebula Operator Nebula Operator 实现 Kubebuilder Scaffold CRD Control

应用价值提升  应用数量增长  应用类型丰富  应用需求多变 企业从信息化到数字化的转型带来大量的应用需求 软件组件 运行环境 部署平台 …… …… 应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构，在开发、测试、运维 团队之间建成了认知的“墙”，团队间配合效

Agent 开源 Spring Cloud 默认不支持双注册，MSE 提供了无侵入的双注册方案，无需修改 代码，开发无需关注，支持平迁。 Nacos 生态 几乎支持所有主流语言 阿里微服务DNS最佳实践 多语言生态集成方案 生态仓库： https://github.com/nacos-group

实现页面组件、数据组件、功能组件的快 速编排，一线人员也能自助开发功能 双模敏态管理 以敏捷研发为引导，融合瀑布式管理需求， 形成普适、灵活的研发过程管理能力。 多用途制品库 兼容市面绝大多数开发语言制品，提供公 用、内部共享、私有等多种使用方式。兼 容市面上制品管理客户端。 全功能云IDE开发 每个云IDE都是一个云端小笔记本，一人一 本，多人可形成云端小局域网。可独立编 写调试代码，可团队协作。 动 插 桩 补 充 测 试 ） 5 发 送 P a y l a o d , 执 行 检 测 6 展 示 漏 洞 低误报率 高检出率 可实现逻辑漏洞检测 可实现个人隐私合规检测 检测探针语言强相关 漏洞覆盖度依赖测试覆盖度 对测试环境性能有一定影响 优点 缺点 污点变量1 污点变量a 污点变量4 污点变量b 变量c 污点变量2 变量1 | 污点标记 无害处理 识别污点源

着越来越重要的作用。云计算的普遍应用和相关技术发展，使其已经经历了云计 算 1.0 虚机时代、云计算 2.0 原生时代，目前正在朝着云计算 3.0 智能时代迈进。 因此，在当前云计算 2.0 时代，云原生技术日趋成熟，并因大语言模型的推 动助力朝着云计算 3.0 智能时代迈进的背景下，分析云原生安全的发展情况和面 临的威胁，并研究云原生安全能力，能够为企业整体的云安全防护体系建立提供 帮助，从而保障企业业务和数据更安全的在云上运转。 署在不同的服务器上，也可以部署在相同的服务器不同的容器上。当前应用产生 的故障不会影响到其他应用，单应用的负载也不会影响到其他应用。这其中每个 拆分的服务就是微服务，彼此之间都是松耦合的，甚至可以使用各研发人员擅长 的不同开发语言进行编写。图 9 展示了微服务场景下可能存在的攻击类型。 图 9 针对微服务进行攻击的路径分析 2.5.1API 攻击 API 是一种计算接口，定义了软件之间的数据交互方式、功能类型。随着互 云原生安全威胁分析与能力建设白皮书 66 SCA Software Composition Analysis 软件成分分析 SQL Structured Query Language 结构化查询语言 SSH Secure Shell 安全外壳 VLAN Virtual Local Area Network 虚拟局域网 WAF Web Application Firewalls 网站应用级入侵防御系统