PieCloudDB云原生数仓虚拟化之路
大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP : elastic Massive Parallel Processing 传 统 P C 时 代 数 据 库 PieCloudDB云原生时代数据库 突 破 创 新 eMPP分布式专利技术加持 PieCloudDB为企业构建「坚如磐石」的云原生虚拟数仓 @2022 OpenPie 虚拟机⾼在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 @2022 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原⽣Serverless架构 ü 第三⽅计费模式 ü 持续产品升级,体验产品最新特性 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 @2022 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并⾄云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上0 码力 | 44 页 | 1.64 MB | 1 年前3PieCloudDB:基于PostgreSQL的eMPP云原生数据库
存储服务 透明数据加密 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie 实现新的基于key-value的存储来存放系统表 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 02 分布式引擎 @2022 OpenPie. All rights reserved. OpenPie 事务管理器支持对各类基础设施故障进行自动容错 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 03 用户数据存储 @2022 OpenPie. All rights reserved. OpenPie0 码力 | 45 页 | 1.32 MB | 1 年前3云原生虚拟数仓 PieCloudDB 的架构和关键模块实现
Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie Confidential • Nosql本身对于高级分析支持差 o 图形,地理信息 • Nosql对于复杂查询的支持差 OpenPie Confidential SELECT * FROM part p1 WHERE p1.p_size > 40 OR p1.p_retailprice > (SELECT avg(p2.p_retailprice) FROM part p2 WHERE p2.p_brand = p1.p_brand) 如果在一个大数据量查询中sublink不能提升,外表每扫描一个元组,subquery都要被执行0 码力 | 43 页 | 1.14 MB | 1 年前3πDataCS赋能工业软件创新与实践
Greenplum产品及社区核⼼成员 均已加⼊拓数派。成员毕业自 CMU、北⼤、清华和科⼤少年班 等顶级学术机构,并有成员获有 奥赛奖牌。 郭罡(Paul Guo) 合 伙 ⼈ & C T O • 中国科技⼤学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜(Brian Lu) 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 • 原Greenplum中国社区发起⼈ • Greenplum社区从0到万 冯 雷(Ray Von) 创 始 ⼈ & C E O • 浙江物理奥赛银牌得主 • 北京⼤学物理经济学双学位 • 卡内基梅隆⼤学(CMU)硕⼠学位,校友会主席 • 原Pivotal/Greenplum(中国)创始⼈ @2024 OpenPie. rights reserved. OpenPie Confidential • 全新云原⽣架构「⼀份数据,多引擎计算」 弹 性 扩 缩 容 , 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 ⼀ 体 和 向 量 计 算 • 原 ⽣ 支 持 数 据 治 理 , 三 权 分 离 • 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 开 发 垂 直 应 用 • CM0 码力 | 36 页 | 4.25 MB | 1 年前3PieCloudDB 的云原生之路
虚拟数仓数仓高在线 虚拟数仓动态 spinoff/retire 对计算资源无感知 虚拟机高在线 服 务 器 虚 拟 化 数 仓 虚 拟 化 IvorySQL开源数据库社区 P i e C l o u d D B 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生 Serverless 架构 ü 第三方计费模式 ü 持续产品升级,体验产品最新特性 存算分离支持独立扩容 ü 全面适配信创环境 公 有 云 私 有 云 裸 硬 件 企 业 版 社 区 版 云 上 云 版 一 体 机 IvorySQL开源数据库社区 P i e C l o u d D B 新 一 代 云 原 生 虚 拟 数 仓 核 心 价 值 多个数仓归并至云虚拟数仓,打破传统数仓场景下 数据孤岛,解决数据多副本问题,帮助企业降低数 仓管理复杂度,以更低的成本实现存算资源在云上 IvorySQL开源数据库社区 计算 • MPP o 将一个单一计算任务在大量独立的计算机上并行执行。 • 多租户、多集群 • 弹性伸缩:集群大小、集群类型、集群数量 • 隔离性:不同租户、不同负载 • 高并发 • 高可用 • 可按使用量付费 IvorySQL开源数据库社区 计算 • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 • 高可用/可靠存储 o 支持跨多数据中心复制数据0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB Database 云原生平台用户手册社区版V2.1
������������ • ���� o pgoptions='-c warehouse=cl***********' o ������������ • ����: o host�����������1**.***.*** o database name�������������openpie o user������������� david o password����� �������**** o port�������5432 54 �� �� Postgres Client PSQL ���� ��删���� • ������ • �� PSQL �初 export PGOPTIONS='-c warehouse=���� ID' psql -h ���� -U ��� -p ��� -d ����� ����� david �����PSQL ������� export PGOPTIONS='-c warehouse=cl***********' psql -h 1**.***.*** -p 5432 -U david -d openpie �� Python psycopg2 �� �������� Python ����� psycopg2� import psycopg20 码力 | 69 页 | 4.35 MB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
Guo) 合 伙 人 & C T O • 中国科技大学少年班 • 18年+底层基础软件领域开发经验 • 原Greenplum/HAWQ首席内核架构师 陆公瑜(Brian Lu) 合 伙 人 & C O O • 英国约克大学 • 15年+产品生态建设和运营管理经验 • 原Greenplum中国社区发起人 冯 雷(Ray Von) 创 始 人 & C E O • 浙江物理奥赛银牌 • Computing for New Discoveries) • 全新云原生架构「一份数据,多引擎计算」 弹 性 扩 缩 容 , 打 破 数 据 孤 岛 • 全 面 支 持 H T A P 湖 仓 一 体 和 向 量 计 算 • 原 生 支 持 数 据 治 理 , 三 权 分 离 • 支 持 大 语 言 基 础 模 型 和 私 域 数 据 结 合 开 发 垂 直 应 用 • C 走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益 坚如磐石 | 高安全 高在线 高可靠 突 破 性 创 新 的 核 心 技 术 出 色 的 数 仓 成 本 效 益 P i e C l o u d D B 技 术 突 破 : 数 仓 虚 拟 化 云原生存算分离架构 运用元数据-计算-数据分离的三层架构,实现云上存储资源与 计算资源的独立管理。云上计算资源可弹性分配,有查询计算0 码力 | 29 页 | 7.46 MB | 1 年前3云原生数据库 PieCloudDB : Unbreakable 安全特性剖析
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析 王 淏 舟 P i e C l o u d D B 资 深 技 术 专 家 O p e n P i e | 拓 数 派 打造立足于国内 基础数据计算领域的世界级高科技创新驱 动机构 !"#$%&'()*+,-./01234567489:;1<=>=? @AB3C>75D?EAF?G4H?<7IJAK4F74I8L$MNO:PQR(STQUV:0 码力 | 34 页 | 599.00 KB | 1 年前3云原生数据库PieCloudDB 性能优化之路
主要处理查询语句中FROM和WHERE部分 • 同时也会考虑到ORDER BY的信息 • 代价驱动 • 为基表生成扫描路径,并计算扫描路径的代价和结果集大小 • 搜索整个连接顺序空间,为连接操作生成连接路径 • O(n!) • 动态规划 • 遗传算法 • 考虑外连接对连接顺序的限制 (A leftjoin B on (Pab)) innerjoin C on (Pbc) != A leftjoin (B segments: 3) -> Partial HashAggregate Group Key: t2.b -> Seq Scan on t2 D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现0 码力 | 26 页 | 711.44 KB | 1 年前3云原生数据库 PieCloudDB eMPP架构设计与实现
苀:数据胚产口 市 用时间 I ` • • ..... . ;· ······ o . 着 .....萨·······' 1 ·一...... :·· 干:” .一: 出 击r 击 .... ... . . . r . . 嘶 · ... ... ............. 一..... .................. .. 嚷············· Hubble B . SinoOB Ste 云树Sh可d :.. G.IIX卢罩" abr ::::· … .• e …. pyH� un lytlcD r.p ur re 。 Rock.s 2014 2018 2022 云原⽣数据库 PieCloudDB eMPP架构设计与实现 郭罡 拓数派CTO 关于拓数派(OpenPie)0 码力 | 31 页 | 1.43 MB | 1 年前3
共 16 条
- 1
- 2