PieCloudDB Database V2.8 Release Note
发布日期: 2023 年 10 月 内 核 l 回收站功能 实现回收站来跟踪逻辑上被删除(TRUNCATE/DROP/ALTER 等)的表,这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录(catalog)信息,在每个虚 拟数仓中,只有一 的虚拟索引。对于某些特殊的访问方法,表的数据文件/块已经包 含可以用作索引的信息,通过虚拟索引不仅可以利用这些信息来提高性能,而 且能减少维护开销。 l 简墨 JAMN 相关优化 n 通过 Delte Encoding 优化 JAMN 文件存储空间。 n 支持指定 JAMN 文件数据压缩方法,包括 None、PGLZ 或者 ZSTD。使用 ZSTD 压缩方法可以大幅度提高数据文件压缩率,降低数据文件存储成本。 n 支持预聚集块扫描节点,对 JAMN 文件块中的数据进行预聚集计算。 n 增强 JANM Data Skipping 对 IN 条件的处理能力。 n 新增 GUC 参数 pdb_enable_janm_toast,控制 JANM 访问方法中的 Toast。 n 新增建表选项 page_size,设置生成新 Page 的大小限制,以兆字节为单 位。 n 新增建表选项0 码力 | 4 页 | 144.49 KB | 1 年前3PieCloudDB Database 社区版集群安装部署手册 V2.1
.............................................................................. 23 3.11 修改 PDB 配置文件信息 ................................................................................................ 2_linux_amd64.tar.gz - C /root/.local/share/helm/plugins/helm-push ##在 Plugins 路径下创建 helm-push 文件夹,并将 helm-push_0.10.2_linux_amd64.tar.gz 解压到该文 件夹下 2.11 推送 PDB 相关 chart 到 harbor 仓库 在 master K8S 环境检查: 1. kubectl get nodes -l node-role.kubernetes.io/control- plane| awk '{print $1}' 请创建文件目录后再进行部署。 如下: 1. - Foundationdb: /var/lib/fdb/data 2. - Etcd: /var/lib/etcd/data 3. - minIO: /var/lib/minio/data0 码力 | 42 页 | 1.58 MB | 1 年前3PieCloudDB:基于PostgreSQL的eMPP云原生数据库
• 行列混合存储 • 定义内外存的数据格式 • 文件内统计信息 • 智能Analyze @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • 完备的事务 • Block文件级别的MVCC实现 • 优化器与执行器的演进 • 向量化 • 文件查询裁剪(Block Skipping) • 聚集下推扫描(PreAgg 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性,提供更多高阶的优化 @2022 OpenPie. All rights reserved. OpenPie Confidential 安全性增强 生态建设 全链路优化0 码力 | 45 页 | 1.32 MB | 1 年前3PieCloudDB Database V2.1 版本说明
避免各种异常情况下数据残留。 • 简墨(JANM)分布式处理增强:更高效的元数据采集和分发,提升用户查询响 应时间,降低系统负载 • 简墨(JANM)动态分配读取文件增强 dispatch 性能:此优化将动态的分配要 读取的文件给各个执行节点,降低查询的启动代价。 • 原生格式存储:在 HDFS/NAS 系统上支持原生存储格式。 • 对 Orca 的支持:PieCloudDB0 码力 | 3 页 | 257.15 KB | 1 年前3云原生虚拟数仓 PieCloudDB ETL 方案设计与实现
转换 (Transform) 导入 (Load) 文件拷贝 CDC模式 流式传输 ETL本质是不同系统 (数据组织形式)之 间的数据移动 ETL • 便宜可扩展的对象存储,各系统通用 • 最好的 ETL 就是不需要 ETL,各系统共享同一份底层数据 • PieCloudDB 支持直接读取对象存储上的 parquet 等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式0 码力 | 29 页 | 5.24 MB | 1 年前3PieCloudDB 的云原生之路
全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多 层缓存结构,避免网络延迟和数据移动,提高计算效率,保 证用户的实时性需求。PieCloudDB 针对底层对象存储设计了 高效的文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB 可以更智能高效地生成统计信息,并生成更高 效的查询计划,达奇优化器支持聚集下推,预计算,Block Skipping 多表连接的最 优顺序搜索 多阶段聚集 分区表的静态 和动态裁剪 相关子查询的 提升转换 CTE和递归CTE 的优化 等等 IvorySQL开源数据库社区 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性,提供更多高阶的优化 IvorySQL开源数据库社区 05 安全性增强 IvorySQL开源数据库社区 透明加密技术 • 加密用户数据,避免被未经许可人员读出 •0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB云原生数仓虚拟化之路
全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多 层缓存结构,避免⽹络延迟和数据移动,提⾼计算效率,保 证⽤户的实时性需求。PieCloudDB针对底层对象存储设计了 高效的文件格式,可在节省⽹络请求的同时提⾼计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能⾼效地⽣成统计信息,并⽣成更⾼ 效的查询计划,达奇优化器支持聚集下推,预计算,Block Sk 提升转换 CTE和递归CTE 的优化 等等 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生优化器 聚集下推 预计算 文件剪裁 针对云环境的特性,提供更多高阶的优化 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u0 码力 | 44 页 | 1.64 MB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
全新的存储「简墨」和缓存架构设计 在计算层,各个计算节点针对元数据和用户数据都设计了多层 缓存结构,避免网络延迟和数据移动,提高计算效率,保证用 户的实时性需求。PieCloudDB针对底层对象存储设计了高效的 文件格式,可在节省网络请求的同时提高计算效率。 全新的优化器「达奇」 PieCloudDB可以更智能高效地生成统计信息,并生成更高效 的查询计划,达奇优化器支持聚集下推,预计算,Block Sk0 码力 | 29 页 | 7.46 MB | 1 年前3PieCloudDB Database 产品白皮书
过互联网轻松管理,无需任何硬件。数据随时随地可用,无需处理任何后端技术问题,为企业进行跨部门、跨区域的 数据共享和协作开辟了捷径,保证了企业的全球化进程。 * 坚如赤石(高安全、高可靠) 传统数据仓库将文件和资源存储在同一主机中,以主备节点数据方式补偿节点宕机时间,严重影响数据时效性,增加 了运维的成本和难度。PieCloudDB 云原生虚拟数仓具有故障自动单点切换,自动化容灾与高可用能力,避免了单点0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
延迟,可随时随地通 过互联网轻松管理,无需任何硬件。数据随时随地可用,无需处理任何后端技术问题,为企业进行跨部门、跨区域的 数据共享和协作开辟了捷径,保证了企业的全球化进程。 传统数据仓库将文件和资源存储在同一主机中,以主备节点数据方式补偿节点宕机时间,严重影响数据时效性,增加 了运维的成本和难度。PieCloudDB 云原生虚拟数仓具有故障自动单点切换,自动化容灾与高可用能力,避免了单点0 码力 | 17 页 | 2.02 MB | 1 年前3
共 10 条
- 1