PieCloudDB Database 产品白皮书
PiecloudDB 产品架构 pieCloudDB 整体架构分为三个层次,包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层为 pieCloudDB 提供计算资源、存储资源和网络资源,PieCloudDB 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB 核心服务层,提供了并行数 Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping 生态组件,兼容大部分现有的 PostgreSQL/Greenplum 客户端,商务智能 {BI) 和 ETL组件。并且,PieCloudDB 正在加速构建更加完善的数据生态体系,通过创建生态工具、建立合作伙伴生 态网络、打造活跃的技术和用户社区等举措,为用户带来更便捷的使用体验。 PiecloudDB 产品核心技术 PieCloudDB 突破了PC时代计算平台的限制,大胆探索云上计算平台的新可能。其云原生架构运用全新0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
PieCloudDB 产品架构 PieCloudDB 整体架构分为三个层次,包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源,PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中,同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层,提供了并 Analyze,可以在数据发生变化的时候自动完成Analyze,及时生成准确的统计信息。 PieCloudDB 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-DS 等测试,实现 了包括聚集下推、Block 生态组件,兼容大部分现有的 PostgreSQL/Greenplum 客户端,商务智能 (BI)和 ETL 组件。并且,PieCloudDB 正在加速构建更加完善的数据生态体系,通过创建生态工具、建立合作伙伴生 态网络、打造活跃的技术和用户社区等举措,为用户带来更便捷的使用体验。 多集群数据共享 多级缓存技术 PieCloudDB 产品核心技术 PieCloudDB 突破了PC时代计算平台的限制,大胆0 码力 | 17 页 | 2.02 MB | 1 年前3云原生数据库 PieCloudDB : Unbreakable 安全特性剖析
PART 02 需求和挑战 来自用户的需求(1) • 密钥自主可控 • 主密钥存储于安全区域中 • 密钥不出区 • 加密密钥支持轮换 • 按时间/条件进行密钥轮换 • 无需停机,不中断服务 • 对性能影响小 • 避免额外造成查询延迟 • 不影响批量读取,流式数据写入性能 来自用户的需求(2) • 支持国密标准 • 合规 • 加密算法可选 • 免配置 • 开箱即用0 码力 | 34 页 | 599.00 KB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
向量数据计算 大模型训练… 自 研 简 墨 存 储 … 统一数据格式 | 一份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) 私有云 Mundo元数据管理系统 统一Catalog 是一个存储系统+计算框架的软件框架。主要解决海量数据存储与计算的问题,是 大数据技术中的基石。让用户可以在不了解分布式底层细节的情况下,开发分布 应对PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多层 缓存结构,避免网络延迟和数据移动,提高计算效率,保证用 户的实时性需求。PieCloudDB针对底层对象存储设计了高效的 文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能高效地生成统计信息,并生成更高效 的查询计划,达奇优化器支持聚集下推,预计算,Block πFPGA 数据存储|虚拟数仓 | 特定领域(如神经网络) Orc … Mundo 元数据管理系统 计算引擎之PieCloudML(大模型)机器学习,更大模型多模机器学习数据计算 03. πDataCS 与龙蜥 大模型数据计算系统商业化入口 国家医疗健康大数据 (大模型)机器学习 数据存储|虚拟数仓|特定领域(如神经网络) 统一数据格式 虚拟数仓服务HTAP|点查 向量数据计算0 码力 | 29 页 | 7.46 MB | 1 年前3PieCloudDB 的云原生之路
轻松应对 PB 级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多 层缓存结构,避免网络延迟和数据移动,提高计算效率,保 证用户的实时性需求。PieCloudDB 针对底层对象存储设计了 高效的文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可以更智能高效地生成统计信息,并生成更高 效的查询计划, 可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道, 解锁对特定IaaS云的依赖 并获得云资源议价权。 实时处理 在计算层,各个计算节点针对元数据和用 户数据都设计了多层缓存结构,避免网络 延迟和数据移动,提高计算效率,保证用 户的实时性需求。 数据安全 PieCloudDB 提供企 业级透明数据加密。 运用实时加密,高强 度算法,多级密钥等 技术保护数据安全。 IvorySQL开源数据库社区0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB Database V2.1 版本说明
全新的缓存机制:在 PieCloudDB 的计算层,各个计算节点针对元数据都设计了 多层缓存结构。 其中,针对元数据,PieCloudDB 实现了元数据层全新的缓存机制,有效减少了访问元 数据服务器带来的网络通信开销和元数据服务器的负载,提高元数据访问的速度。 • 可观察性增强:可得到更多的查询时系统的统计信息,包括元数据管理、S3 等。 • Vacuum 优化:在元数据层通过快速过滤不需要 vacuum0 码力 | 3 页 | 257.15 KB | 1 年前3PieCloudDB云原生数仓虚拟化之路
可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道, 解锁对特定IaaS云的依赖 并获得云资源议价权。 实时处理 在计算层,各个计算节点针对元数据和用 户数据都设计了多层缓存结构,避免网络 延迟和数据移动,提高计算效率,保证用 户的实时性需求。 数据安全 PieCloudDB提供企业 级透明数据加密。运 用实时加密,高强度 算法,多级密钥等技 术保护数据安全。 @2022 OpenPie0 码力 | 44 页 | 1.64 MB | 1 年前3
共 7 条
- 1