zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 发展历程 2015.10 项目启劢 2016.01 正式开源 2016.08 star突破1000 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 数据库治理 App1 S1 App2 App3 M2 sync read S2 S3 M1 M3 write 引入中间件 App1 M1 App2 App3 S2 M2 M3 S1 S3 数据库中间件 write sync read 拆分策略定制化  行表达式：t_order_$->{uid % 8}  内置规则：hash

Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 2015.10 Ø 项目启动 2016.01 Ø 正式开源 2016 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务 S1 App2 App3 M2 sync read S2 S3 M1 M3 write 2018年PostgreSQL中国技术大会 引入中间件 App1 M1 App2 App3 S2 M2 M3 S1 S3 数据库中间件 write sync read 2018年PostgreSQL中国技术大会 拆分策略定制化 哈希 范围 标签 时间 复合 u 行表达式：t_order_$->{uid

《MySQL 容器化部署实践》 演讲者／王晓波 背景 ■ 同程旅游早期的数据库都以单库的MySQL。 ■ MySQL的单库，导致TPS最终还是会成为一个瓶颈。 ■ MySQL+DB中间件解决水平拆分问题。 ■ MySQL水平拆分的引入会使数据库实例数量大幅上升,传统运维手段维护成本高,交付能力差。 MySQL数据库为何要Docker化 1.MySQL数据库迅速爆炸式增长后，服务器规模不断增大，快速部署是个问题。 缩 容 数 据 库 及 实 例 迁 移 过 载 保 护 机 制 总体架构 分 布 式 监 控 资源管理|资源调度 复制与迁移|高可用保障|备份恢复 自 动 化 运 维 应用 DB中间件 数据存储 应用 VIP 告警分析 告警发送 指标画图 趋势预测 自定义脚本 Open API 数据校验 实例迁移 秒级监控诊断 慢日志分析 资源池调度 调度规则 容器调度 TCMHA 管理分为两个部分： • MariaDB、MySQL5.6的高可用管理是基于开源 工具MHA定制开发后的工具完成的，该工具支持 了MariaDB的gtid、更完善的哨兵检测机制、对 接了DB中间件等定制化功能。 • MySQL5.7的MGR复制集群是我们自己写的一套 高可用组件配合DB中间，实现无感知的高可用切 换。 兼容mysql协议 支持SELECT/INSERT/UPDATE/DELETE语句

无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一（对标美国 CockroachDB） ● 完全从头打造，并非基于 MySQL 或数据库中间件进行改造、封装 ● 体系架构完全不同于传统的单机型数据库的理论，真正意义上的分布式架构 ● 开源模式保证技术创新、高效和领先性，天然的国际化基因 我们的数据库能解决什么问题 - 1 ● 无限线性水平扩展（Scale 2 Region 2 Region 3 Raft group for region 1 Raft group for region 2 Raft group for region 3 中间件 [0- 10] [10- 20] [20- 30] [30- 40] SQL Layer Transaction API MVCC NewKV NewSQL - 数据库无限水平扩展的完美解决方案 表（Sharding）方案 DB Sharding vs NewSQL DB Sharding NewSQL | TiDB 工作内容 工作量 工作内容 工作量 项目设计 阶段 分库分表设计 数据库中间件路由配置 数据库主从备份设计 月级别 类似单机数据库，不需要做任 何设计、修改 0 项目开发 阶段 事务处理机制 - 由应用保证 跨库、跨表查询 - 由应用保证 月级别 类似单机数据库，事务由底层 数据库提供，支持透明分布式

github.com/apache?q=servicecomb servicecomb.apache.org Apache ShardingSphere简介 完全开源 Apache的首个分布式数据库中间件 gitHub近8000star，近百家公司的成功落地案例 核心功能：数据分片&分布式事务&数据库治理 多接入端选择 京东主导，多公司&社区参与推动 4 github.com/apache App1 S1 App2 App3 M2 sync read S2 S3 M1 M3 write App1 M1 App2 App3 S2 M2 M3 S1 S3 数据库中间件 write sync read 7 github.com/apache?q=servicecomb servicecomb.apache.org SQL解析 SQL改写 结果归并 SQL执行

. . . . 76 解决方案详解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 加密算法解析 . . . . . . . . 需要在复用该数据库连接获取下一张分表的查询结果集之前，将当前的查询结果集全数加载至内存。因 此，即使可以采用流式归并，在此场景下也将退化为内存归并。 一方面是对数据库连接资源的控制保护，一方面是采用更优的归并模式达到对中间件内存资源的节省，如 何处理好两者之间的关系，是 ShardingSphere 执行引擎需要解决的问题。具体来说，如果一条 SQL 在经 过 ShardingSphere 的分片后，需要操作某数据库实例下的 4.2 挑战 分布式治理的挑战，主要在于集群管理的复杂性，以及如何以统一和标准的方式对接各种第三方集成组 件。 集成管理的复杂性体现在，一方面我们需要把所有的节点，不管是底层数据库节点，还是中间件或者业 务系统节点，它们的状态都统一管理起来，并且能够实时的探测到最新的变动情况，进一步为集群的控 制和调度提供依据。这方面我们使用集群拓扑状态图来管理集群状态，同时使用心跳检测机制实现状态 检测与更新。

. 259 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260 7.4.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 7.4.4 加密算法解析 . . . . Language）负责资源和规则的查询和展现； • RAL（Resource & Rule Administration Language）负责 Hint、事务类型切换、分片执行计划查询 等管理功能。 3.3.3 目标 打破中间件和数据库之间的界限，让开发者像使用数据库一样使用 Apache ShardingSphere，是 DistSQL 的设计目标。 3.3.4 注意事项 DistSQL 只能用于 Sharding 5.2 挑战 分布式治理的挑战，主要在于集群管理的复杂性，以及如何以统一和标准的方式对接各种第三方集成组 件。 集成管理的复杂性体现在，一方面我们需要把所有的节点，不管是底层数据库节点，还是中间件或者业 务系统节点，它们的状态都统一管理起来，并且能够实时的探测到最新的变动情况，进一步为集群的控 制和调度提供依据。这方面我们使用集群拓扑状态图来管理集群状态，同时使用心跳检测机制实现状态 检测与更新。

购买存储资源。同时可以按需进⾏集群的扩缩容，计算资源和存储资源可单独分别扩容，可⼤幅减少企业前期的投 ⼊成本和后续的扩容成本。 Ø 运用数仓虚拟化技术，实现全域数据计算 基础 设施 计算资源 存储资源 ⽹络资源 云原⽣资源 中间件 数据库 ⾼性能存储 离线数据 主流组件（Kafka、Flink、Spark、ES） 实时数据 数据 存储 全量数据同步 πDataCS 增量数据同步 可视化ETL 结构化数据处理 非结构化数据处理 的资讯以及精准的市场数据和分析，提升内容创作效率。 @2024 OpenPie. All rights reserved. OpenPie Confidential 国产化适配 πDataCS 服务器 操作系统 应用 & 中间件 数据处理ETL ⽂件加载 流式接⼊ 数据科学 & AI BI⼯具 计算引擎 向量数 据库 @2024 OpenPie. All rights reserved. OpenPie Confidential

. 261 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 7.5.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 7.5.4 加密算法解析 . . . . Language）负责资源和规则的查询和展现； • RAL（Resource & Rule Administration Language）负责 Hint、事务类型切换、分片执行计划查询 等管理功能。 3.3.3 目标 打破中间件和数据库之间的界限，让开发者像使用数据库一样使用 Apache ShardingSphere，是 DistSQL 的设计目标。 3.3. DistSQL 14 Apache ShardingSphere 分离的现代数据库体系中不可或缺的功能。 4.2.2 挑战 管控的挑战，在于对集群的集中化管理的统一管理能力以及在单点出现故障时精细化的操作能力。 集中化管理的挑战体现在将包括数据库存储节点和中间件计算节点的状态统一管理，并且能够实时的探 测到分布式环境下最新的变动情况，进一步为集群的控制和调度提供依据。 面对超负荷的流量下，针对某一节点进行熔断和限流，以保证整个数据库集群得以继续运行，是分布式

. 367 已上线业务改造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 7.7.3 中间件加密服务优势 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 7.7.4 加密算法解析 . . . . ShardingSphere document, v5.2.0 3.6.2 挑战 管控的挑战，在于对集群的集中化管理的统一管理能力以及在单点出现故障时精细化的操作能力。 集中化管理的挑战体现在将包括数据库存储节点和中间件计算节点的状态统一管理，并且能够实时的探 测到分布式环境下最新的变动情况，进一步为集群的控制和调度提供依据。 面对超负荷的流量下，针对某一节点进行熔断和限流，以保证整个数据库集群得以继续运行，是分布式 列的服务、中间件的调用来完成，所 以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 3.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压