PieCloudDB 的云原生之路
IvorySQL开源数据库社区 IvorySQL 用户组技术沙龙北京站 IvorySQL开源数据库社区 PieCloudDB 的云原生之路 姓名:吴疆 公司:拓数派 职位:产品及推广总监 IvorySQL开源数据库社区 吴疆 IvorySQL开源数据库社区 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司(又称“OpenPie”),以 “Data Discoveries”「数据计算,只为新 发现」为使命,成立后的短短10个月时间内,完成了包括头部 产业基金、东吴证券、元禾重元和政府科创平台在内的连续三 轮战略融资。 旗下云原生分析型数据库 PieCloudDB,以云计算架构为设 计基础,首创全新 eMPP 分布式技术,帮助企业建立竞争壁垒 的同时,实现数据价值最大化,并在新基建中承担可靠和可控 的世界级云数据库底座。 IvorySQL开源数据库社区 杭州萧山区政府“一事一议” 支持政策获批 6月 成立加拿大研发中心 7月 PieCloudDB 云原生数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成立广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的 eMPP 云原生数仓 3月0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB Database 产品白皮书
Openpie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 piecloudDB,云原生虚拟数仓 PieCloudDB 产品概述 PieCloudDB 产品架构 PieCloudDB 产品特性 PieCloudDB 产品核心技术 PieCloudDB8 产品优势 关于OpenpPie 关于OpenpPie 附录: 术语表 11 13 15 16 openpie | PiecloudDB 基于 eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 百岗 行业背景 石油是工业的血液,数据是数字经济的“石油”,数据分析则是石油精炼。 随着信息技术的发展,互联网应用的加速普及,人类进入了数字经济时代。进入二十一世纪以后,随着移动互联网技 术、物联网技术、5G等技术的发展,全球数据圈 生数据库成为大势所趋,各个企业也都在向这 一趋势靠拢。2020 年数据显示,云数据库已占据整体数据库市场份额的40%,2022年云数据库营收数据将占据数据 库整体市场的半数以上。 OpenpPie | PiecloudDB 基于eMPP (弹性大规模并行计算) 的云原生虚拟数仓 产品白皮书 SN 中 Market Guide for DBMS, China0 码力 | 17 页 | 2.68 MB | 1 年前3PieCloudDB Database V2.8 Release Note
Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录(catalog)信息,在每个虚 拟数仓中,只有一个目录信息副本从协调节点分发,并共享给所有 Slices/Backends。 n 支持在 PieCloudDB 全局缓存系统中添加本地缓存。 l HLL(HyperLogLog)压缩0 码力 | 4 页 | 144.49 KB | 1 年前3PieCloudDB Database V2.1 版本说明
能。 • 极速 Analyze(Smart Analyze): PieCloudDB 实现极速 Analyze,更快的生 成精确的查询规划统计信息,从而在查询时可以生成更优的查询计划。 • 全新的缓存机制:在 PieCloudDB 的计算层,各个计算节点针对元数据都设计了 多层缓存结构。 其中,针对元数据,PieCloudDB 实现了元数据层全新的缓存机制,有效减少了访问元 数据服务器带 性能:此优化将动态的分配要 读取的文件给各个执行节点,降低查询的启动代价。 • 原生格式存储:在 HDFS/NAS 系统上支持原生存储格式。 • 对 Orca 的支持:PieCloudDB 支持查询优化器 Orca。Orca 是一款开源的、基 于 Cascades 模型的模块化查询优化器,帮助用户对 SQL 进行优化,生成高效的查询计 划。 • 支持超大数据量字段 支持超大数据量字段 • 支持快速 ETL/ELT: Kafka 流数据导入支持,copy 性能大幅提升。 • 外部数据源的查询(实验性功能): PieCloudDB 支持 foreign-data wrapper 模块,使用户可以访问包括但不限于 HDFS、MySQL 等数据源,同时支持用户自行开发 模块来访问新的存储数据源 。 管控平台 •0 码力 | 3 页 | 257.15 KB | 1 年前3PieCloudDB云原生数仓虚拟化之路
PieCloudDB的云原生数仓虚拟化之路 吴疆 Openpie产品和推广总监 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司(又称“OpenPie”),以“Data Computing Discoveries”「数据计算,只为新发现」为使命, 成立后的短短10个月时间内,完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库PieCloudDB,以云计算架构为设计基础,首创 全新eMPP分布式技术,帮助企业建立竞争壁垒的同时,实现数据价值最 大化,并在新基建中承担可靠和可控的世界级云数据库底座。 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州萧山区政府“⼀事⼀议”⽀ 持政策获批 6月 成⽴加拿大研发中心 7月 PieCloudDB云原⽣数据库存算分离等关键技术打造完成 引领数据库行业全面走向云时代 8月 成⽴广州研发中心 10月 PieCloudDB 社区版与商业版正式发布 极速进入成长期 Day-1 2023 引领数据计算时代到来 1月 PieCloudDB 爱琴海版本发布 构建坚如磐石的eMPP云原生数仓 3月 2023拓数派战略暨新产品发布会0 码力 | 44 页 | 1.64 MB | 1 年前3云原生数据库PieCloudDB 性能优化之路
郭峰 拓数派 云原生数据库PieCloudDB 性能优化之路 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司(又称“OpenPie”),以“Data Computing for New Discoveries”「数据计算,只为新发现」为使命, 成立后的短短10个月时间内,完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 禾重元和政府科创平台在内的连续三轮战略融资。 旗下云原生分析型数据库 PieCloudDB,以云计算架构为设计基础,首 创全新 eMPP 分布式技术,帮助企业建立竞争壁垒的同时,实现数据价 值最大化,并在新基建中承担可靠和可控的世界级云数据库底座。 PostgreSQL优化器简介 PieCloudDB优化器之分布式特性简介 PieCloudDB优化器之云原生特性简介 Q/A Contents 录 目 01 • 以上每一步操作都会产生一个或多个路径 • 为每个路径添加LockRows, Limit, ModifyTable • 把最优路径转换为查询计划 • 对最优计划进行一些调整 02 • PieCloudDB优化器拓展了PostgreSQL优化器,使其适用于分布式架构 • 引入了Motion的概念,使得数据可以在不同的工作节点之间移动 • 利用Motion产生分布式的查询计划 • 这些分布0 码力 | 26 页 | 711.44 KB | 1 年前3PieCloudDB:基于PostgreSQL的eMPP云原生数据库
PieCloudDB: 基于PostgreSQL的eMPP 云原生数据库 吴疆 OpenPie产品和推广总监 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential !"#$%&'()*+,-./01234567489:;1<=>= 平台底层:eMPP 云原生分布式SQL数据库 我们的目标:支持多模,serverless的实时大数据平台 关于PieCloudDB 使用简单 功能齐全 性能极致 安全可靠 @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 重要特点 eMPP 完备的事务支持 完善的SQL标准支持 Postgres生态支持 安全 OpenPie. All rights reserved. OpenPie Confidential Postgres 生态 PieCloudDB 重新打造 PostgreSQL 12.x 实现存算分离 PieCloudDB 对几乎所有内核模块做了大量的创新 PieCloudDB 内核团队拥有强悍的Postgres内核代码掌控能力 • 将来会保持和Postgres内核大版本对齐 团队也拥有丰富的Postgres内核大版本升级合并经验0 码力 | 45 页 | 1.32 MB | 1 年前3云原生数据库 PieCloudDB : Unbreakable 安全特性剖析
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析 王 淏 舟 P i e C l o u d D B 资 深 技 术 专 家 O p e n P i e | 拓 数 派 打造立足于国内 基础数据计算领域的世界级高科技创新驱 动机构 !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV: 不影响内核迭代 • 独立模块,方便后续扩展 • 无历史包袱 加入我们! • 官 网: https://www.openpie.com • 公 众 号 :PieCloudDB | 拓数派 • 技术社群:扫码添加入群助手 扫码加入 PieCloudDB 技术群 谢谢!0 码力 | 34 页 | 599.00 KB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
PieCloudDB Database 基于 eMPP (弹性大规模并行计算)的云原生虚拟数仓 产品白皮书 www.OpenPie.com ©2023 OpenPie All Right Reserved . 行业背景 数据量的爆发式增长 数据库的未来在云上 传统数仓的痛点 云时代的数据处理要求 PieCloudDB,云原生虚拟数仓 PieCloudDB,云原生虚拟数仓 PieCloudDB 产品概述 PieCloudDB 产品架构 PieCloudDB 产品特性 PieCloudDB 产品核心技术 PieCloudDB 产品优势 关于OpenPie 附录:术语表 3 3 3 4 5 6 7 7 8 11 13 15 16 目 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 应运而生, PieCloudDB 帮助企业摆脱了 PC 架 构的限制,满足云原生数字时代需求,成为更好的选择。 能够提供无限存储空间, 随时根据业务需求弹性增加集群和工作节点 在集群完成计算任务时,可以进行资源回收,节省成本 6 PieCloudDB 云原生虚拟数仓 杭州拓数派科技发展有限公司(又称0 码力 | 17 页 | 2.02 MB | 1 年前3PieCloudDB Database 社区版集群安装部署手册 V2.1
PieCloudDB Database 社区版集群部署和使用手册 版本:V2.1 2023 年 03 月 08 日 目录 1. 集群规划 .......................................................................................................... ............................................................................ 4 2. PIECLOUDDB 和 K8S 一起部署方案 ........................................................................................... ..... 41 1. 集群规划 此次准备了 3 台虚拟机,具体信息如下: 序号 角色 主机名 IP 地址 操作系统 用户名/密码 PieCloudDB 版本 操作系统版本 1 K8S 的 Master pie4 10.24.31.154 root/openpie V2.1.1 Centos 7 2 K8S 的0 码力 | 42 页 | 1.58 MB | 1 年前3
共 21 条
- 1
- 2
- 3