云原生数据库PieCloudDB 性能优化之路
PieCloudDB优化器拓展了PostgreSQL优化器,使其适用于分布式架构 • 引入了Motion的概念,使得数据可以在不同的工作节点之间移动 • 利用Motion产生分布式的查询计划 • 这些分布式的查询计划会被分为更小的单元,并被分发到不同的工作节点中并行执行 • 对于聚集操作,利用分布式的优势,在工作节点之间通过多阶段聚集来提升性能 # explain (costs off) select sum(b)0 码力 | 26 页 | 711.44 KB | 1 年前3PieCloudDB Database 产品白皮书
的云原生虚拟数仓 产品白皮书 传统数据仓库价格高昂的软硬件、开发运维人员的高晶薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率,无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长,面临数据库的扩 容和升级时,由于传统数据仓库架构存储和计算的紧密耦合,往往需要企业花费巨大的运维和时间成本,且操作繁 琐。 木桶效应 传统 MPP 数据仓库架构存在“木桶效应 * 每月有一个大的计算任务,需要数干个节点 面对这些不断变化的业务需求和计算任务,企业产生了更高的需求: * 无限空间: 能够提供无限存储空间, 。 灵活伸编: 随时根据业务需求弹性增加集群和工作节点 * 资源回收: 在集群完成计算任务时,可以进行资源回收,节省成本 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 应运而生,PieCloudDB 帮助企业摆脱了 PC 对5QL的全面支持和多种过程语言 (Procedure Language) 的支持使得 PieCloudDB 可以无锋集成业内常见的提取/ 转换/加载 (ETL) 和 Bl (商业智能) 工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB -上 从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
架 构 成 本 高 昂 传统数据仓库价格高昂的软硬件、开发运维人员的高昂薪资需要企业进行巨大的前期投入。传统数据仓库客户的生产 环境资源利用率,无论是存储或是计算资源往往都不尽人意。随着存储和工作负载需求的日益增长,面临数据库的扩 容和升级时,由于传统数据仓库架构存储和计算的紧密耦合,往往需要企业花费巨大的运维和时间成本,且操作繁 琐。 木 桶 效 应 传统 MPP 数据仓库架构 PieCloudDB 应运而生, PieCloudDB 帮助企业摆脱了 PC 架 构的限制,满足云原生数字时代需求,成为更好的选择。 能够提供无限存储空间, 随时根据业务需求弹性增加集群和工作节点 在集群完成计算任务时,可以进行资源回收,节省成本 6 PieCloudDB 云原生虚拟数仓 杭州拓数派科技发展有限公司(又称“OpenPie”)认为计算技术目前经历了三代平台: ①大型机时代;②PC机时 对SQL的全面支持和多种过程语言(Procedure Language)的支持使得 PieCloudDB 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行,从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 PieCloudDB0 码力 | 17 页 | 2.02 MB | 1 年前3云原生虚拟数仓 PieCloudDB 的架构和关键模块实现
图形,地理信息 • Nosql对于复杂查询的支持差 NoSQL和数据湖很难胜任数据分析的工作场景 @2022 OpenPie. All rights reserved. OpenPie Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署,多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持,需要专门的技术技能 • 专用引擎/工具(例如图形数据库)通常难以与记录系统集成,限制0 码力 | 43 页 | 1.14 MB | 1 年前3PieCloudDB Database V2.8 Release Note
文件 节省 CPU 和元数据大小。默认值为 32,与 INDEX_MAX_KEYS 相同。 3 l 外表 FDW 相关 n 新增 raw_fdw 外表接口,支持在协调节点和工作节点上执行,以原始字 节(bytea)读取文件。 n 为外表启用部分聚合能力,支持并行聚集下推。 n 新增 fdb_max_retry(替代原 MaxRetry 功能),默认值设置为 50。0 码力 | 4 页 | 144.49 KB | 1 年前3PieCloudDB:基于PostgreSQL的eMPP云原生数据库
Confidential 云解决了什么? 借助于云上分布式存储,解耦存储 借助于云上虚拟化技术和之上的IaaS,解耦计算 池化资源,按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台0 码力 | 45 页 | 1.32 MB | 1 年前3PieCloudDB 的云原生之路
IvorySQL开源数据库社区 云解决了什么? 借助于云上分布式存储,解耦存储 借助于云上虚拟化技术和之上的 IaaS,解耦 计算 池化资源,按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给 IaaS/SaaS 厂商 IvorySQL开源数据库社区 上云≠云原生 弹性计算 智能化云原生平 台 多租户 • 产品要能支持存储资源和计算资源的分离 • 产品要能快速进行计算资源的弹性伸缩0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB云原生数仓虚拟化之路
Confidential 云解决了什么? 借助于云上分布式存储,解耦存储 借助于云上虚拟化技术和之上的IaaS,解耦计算 池化资源,按需使用 基础软件尤其是数据平台上云已是大势所趋 用户专注于使用,运维等工作交给IaaS/SaaS厂商 @2022 OpenPie. All rights reserved. OpenPie Confidential 上云 ≠ 云原生 弹性计算 智能化云原生平 台0 码力 | 44 页 | 1.64 MB | 1 年前3
共 8 条
- 1