云原生数据库 PieCloudDB eMPP架构设计与实现
e …. pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 2022 云原⽣数据库 PieCloudDB eMPP架构设计与实现 郭罡 拓数派CTO 关于拓数派(OpenPie) • 成⽴于2021年,以“Data Computing for New Discoveries”「数据计算, 只为新发现」为使命。 分布式系统(SQL/NoSQL/存储) • 最近 7+ 年⼀直从事开源分布式数据库开发 一个eMPP 云原生分布式SQL数据库 一个云原生实时大数据平台基座 愿景:安全可靠 使用简单 功能齐全 性能极致 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定,资源利用率低 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 我们需要一个云原生数据库 ODBC/JDBC driver等). 云原生 云中立 • 弹性计算资源(横向纵向)、极速调整 • 多集群是另外一个弹性的维度 • 共享用户数据(如按需付费的对象存储) • 共享元数据 • MPP架构:分布式,海量数据并行处理 • e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres? • 关于Postgres • 公司中⽴,开源协议友好,国际⼀流⼯程⽔准的先进开源数据库0 码力 | 31 页 | 1.43 MB | 1 年前3Greenplum 架构概览
Greenplum 架构概览 基本拓扑结构 如上图,我们可以认为 Greenplum(后简称 GP) 就是很多个 PostgreSQL 实例所组成的集群。GP 对外提供统⼀的数据接⼝,并帮助⽤户⾃动完成数据分⽚、并⾏ 查询与聚合等诸多分布式数据库功能 GP 是⼀种典型的 Master-Segment 架构,⼀个 GP 集群通常由⼀个 Master 节点、⼀个 Standby Master0 码力 | 1 页 | 734.79 KB | 1 年前3MongoDB 分布式架构演进
Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 MongoDB 分布式架构演进 张友东(林青) 阿里云数据库技术团队 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 2016Postgres中国用户大会 Postgres0 码力 | 29 页 | 2.03 MB | 1 年前3Apache ShardingSphere(Incubating)云架构演化
2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导,多公司参与 u 应用广泛,已知70+公司的应用案例 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache Zookeeper ETCD … 2018年PostgreSQL中国技术大会 APM SkyWalking:基于分布式追踪的性能监控系统。项目的核心目标是针对微服务、Cloud Native、容 器化架构,并提供应用性能监控和分布式调用链追踪能力。 SkyWalking已于2017年12月8日,进入Apache孵化器。 2018年PostgreSQL中国技术大会 拓扑图 2018年PostgreSQL中国技术大会0 码力 | 34 页 | 5.07 MB | 1 年前3Apache ShardingSphere(Incubating) 云架构演化
Apache ShardingSphere(Incubating) 云架构演化 京东数科-张亮(email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache 完全开源 Apache的首个分布式数据库中间件 京东主导,多公司参与 应用广泛,已知70+公司的应用案例 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 Saga Apache ServiceComb Apache ShardingSphere 分布式事务架构 数据库治理 注册中心 配置劢态化推劢 配置统一管理 数据库从库禁用 应用实例熔断 业务代码 ShardingSphere 业务代码 ShardingSphere0 码力 | 37 页 | 3.00 MB | 1 年前3孟浩然-Apache ShardingSphere 架构解析&应用实践
Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技,负责数据库产品研发,热爱开源,关注数据库生态,目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 生态层:通过三个接口分别 实现数据库协议、 SQL 方言和 数据库存储对接,用于打造异 构数据网关; 连接 连接是 ShardingSphere 的基础能 力,可以有效简化数据和应用之间 的连接。连接的设计要点在于强大 的数据库的兼容性,在应用和数据 之间搭建了一层与具体数据库实现 无关的桥梁,为增量能力提供了基 础。 增量 增量是 ShardingSphere 的主要能 力,在拦截访问数据库流量的前提0 码力 | 31 页 | 2.36 MB | 1 年前302 TiDB Operator 架构与实现 付业成
0 码力 | 47 页 | 1.73 MB | 5 月前3MySQL 数据库架构灾难恢复解决方案
MySQL 数据库架构 灾难恢复解决方案 MySQL InnoDBClusterSet 介绍 MySQL SE 罗伟文 2 / 55 Safe Harbor Statement 以下内容旨在概述我们的一般产品方向。它仅供参考,不得纳入任何合同。它并不提供任何材料、代码或功能的承诺,不应据此做出购买决策。 Oracle 产品描述的任何特性或功能的开发、发布和时间安排仍由 Oracle 自行决定。 设置复制拓扑通常是手动完成的,需要执行许多步骤 包括用户管理、恢复备份、配置复制... • MySQL 只提供技术部分,让用户来设置(始终自定义 的)架构。 • 甚至需要其他软件... 为DBA 和专家带来了大量工作,他 们花时间自动化和集成他们的定制架构 Copyright @ 2021 Oracle and/or its affiliates. 8 / 55 Present - Solutions0 码力 | 52 页 | 3.07 MB | 1 年前3TiDB 可观测性的设计与实现 陈霜
TiDB 可观测性 的设计与实现 – 陈霜 About me ● 陈霜, TiDB Insight R&G Engineer, PingCAP ● chenshuang@pingcap.com ● Github: crazycs520 Agenda ● TopSQL: Bind SQL With CPU Resources ● System Table0 码力 | 39 页 | 3.97 MB | 1 年前3QCon北京2018-《TiDB架构与开源之路》-申砾
TiDB 架构及开源之路 申砾 @ PingCAP About Me • VP of Engineering @ PingCAP • Netease/360/PingCAP • Tech lead of TiDB About PingCAP • Since 2015 • Beijing, Shanghai, Guangzhou, Silicon Valley, Home • Open-Source0 码力 | 44 页 | 11.38 MB | 1 年前3
共 119 条
- 1
- 2
- 3
- 4
- 5
- 6
- 12