云原生数据库 PieCloudDB eMPP架构设计与实现
也放在FoundationDB • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群(虚拟数仓)可以共享⼀份元数据 • FoundationDB⾼可⽤设计、备份恢复保证元数据的可靠性和可 ⽤性 元数据管理缓存 • ⺫的: • 减轻FoundationDB集群负担 • 加速查询优化(⺴络延迟远⾼于内存延迟) • 以Postgres原⽣的元数据缓存概念为基础,优化重构实现适⽤于0 码力 | 31 页 | 1.43 MB | 1 年前3πDataCS赋能工业软件创新与实践
向量化执⾏器(SIMD)和JIT Ø HTAP,弹性扩缩容 Ø eMPP专利,弹性⼤规模并⾏计算 Ø 分布式优化器 Ø 存算分离架构 可视化管控: Ø 监控告警 Ø 自定义和动态服务启停 Ø 备份恢复 Ø ETL和数据导出 Ø 数据洞察 Ø 细粒度权限管控,与LDAP⽆缝集成 Ø Rest API @2024 OpenPie. All rights reserved. OpenPie0 码力 | 36 页 | 4.25 MB | 1 年前3PieCloudDB:云原生分布式虚拟数仓的诞生之旅
@2022 OpenPie. All rights reserved. OpenPie Confidential 成⻓之路 (cont.) • 功能变强或者补全 • 海量数据修改增强. • 初步备份功能. • Vacuum增强. • 统计数据⾃动收集更新. • Spill to S3⽀持 • 临时表完全⽀持. • 各种异常处理增强. • …... • 稳定性. @2022 OpenPie.0 码力 | 24 页 | 2.01 MB | 1 年前3PieCloudDB Database 产品白皮书
保证元数据存取的效率和高可用性。PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份,以确保避免因为用户数据的丢失而造成的损失。 , 高性能的数仓引擎 PieCloudDB 采用高效并行的方式进行数据加载和处理,处理速度随节点增加而提升,支持流数据快速加载。 PieCloudDB0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
Service)保证元数据存取的效率和高可用性。 PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多 个服务节点,并支持定时备份,以确保避免因为用户数据的丢失而造成的损失。 PieCloudDB 采用高效并行的方式进行数据加载和处理,处理速度随节点增加而提升,支持流数据快速加载。 PieCloudDB 的 eMPP(弹0 码力 | 17 页 | 2.02 MB | 1 年前3云原生虚拟数仓 PieCloudDB 的架构和关键模块实现
t2.c; Time travel 到某个时间段之前 select * from t1 before ‘1 day’, t2 before ‘30 min’ on t1.a = t2.c; 恢复删除或者修改表 Drop table t1; Restore table t; @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 43 页 | 1.14 MB | 1 年前3
共 6 条
- 1