PieCloudDB Database 社区版集群安装部署手册 V2.1
........................................................................... 4 2. PIECLOUDDB 和 K8S 一起部署方案 ............................................................................................ ................................................................................... 10 2.9 安装 K8S 集群 ................................................................................................ .............................................................................. 14 3. PDB 基于已有 K8S 的部署方案 .............................................................................................0 码力 | 42 页 | 1.58 MB | 1 年前3PieCloudDB云原生数仓虚拟化之路
仓管理复杂度,以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务 器⽆感知技术(Serverless)利⽤云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可⽤,S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标0 码力 | 44 页 | 1.64 MB | 1 年前3PieCloudDB:基于PostgreSQL的eMPP云原生数据库
lmnopqmr struvw&xyz{bZ|}~•€•‚ƒ„ …†‡ˆ‰Š‹Œ$M•674@ŽAC•<•:;‡NO‘’Q“Nk”:•x –R4—66Š˜™'š:›œ•jžXŸ ¡¢Z£`:¤S$M¥¦§ ¨©:ª{Rkž«¬-®¯u®°Z±²³‡$M•´µ„ 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 CONTENTS @2022 OpenPie. All rights OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 02 分布式引擎 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算0 码力 | 45 页 | 1.32 MB | 1 年前3πDataCS赋能工业软件创新与实践
OpenPie. All rights reserved. OpenPie Confidential PieCloudVector与LLM在私域知识库领域的应用实践路径 π D a t a C S 优 势 2 : 全 面 支 持 ⼤ 语 ⾔ 基 础 模 型 和 私 域 数 据 结 合 做 垂 直 应 用 @2024 OpenPie. All rights reserved. OpenPie Confidential 数 据 S3 /HDFS/NAS Data Table Data Table Data Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless ... ... Coordinator X + Y + Z+ +N 财务部门 投资部门 存储节点统一进 S3/HDFS/NAS 副本问题,帮助企业降低数仓管理复杂度,以更低 的成本实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务 器⽆感知技术(Serverless)利用云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可用,S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开⽆限数据计算空间, 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。0 码力 | 36 页 | 4.25 MB | 1 年前3PieCloudDB:云原生分布式虚拟数仓的诞生之旅
OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 • ⼀款云原⽣分布式虚拟数仓 • Data: Shared Storage (S3/HDFS/NAS) • Meta: Shared on NoSQL (当前是FoundationDB) • Postgres⽣态 • 软件交付版本 • 社区版 (免费获取) • 企业版 • CoC(云上云)版(免费试⽤) 数据存储设计考虑 • S3访问友好(各种统计数据⽤于data skipping、查询加速等) • OLAP友好(PG的HEAP是OLTP⾏存引擎) • 计算引擎加速友好(SIMD, SIMT, etc) @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 最后设计格式:JANM (简墨) • ⼀个S3⽂件内所有数据MVCC可⻅性⼀致 reserved. OpenPie Confidential 构建之路 - 数据访问加速 • S3访问考虑(提升性能 & 降低成本) • 使⽤缓存,⻓远来说分布式缓存. • 虚拟数仓:⼀致性Hash存储缓存⽂件. • Data Skipping (⽐如Block Skipping,预聚集,etc). • S3访问通⽤优化:并⾏化、预读、异步、Mpp引擎"steal". • C++抽象接⼝,访问更多的storage0 码力 | 24 页 | 2.01 MB | 1 年前3PostgreSQL 查询优化器解析
world-class high-tech innovation- driven institution in the field of data computing • PieCloudDB, OpenPie’s flagship product, is a cutting- edge cloud-native data warehouse. It delivers elastic, highly available Joins to Inner Joins @2024 OpenPie. All rights reserved. OpenPie Confidential • If the outer join's own quals are strict for any nullable Var that was forced null by higher qual levels SELECT * FROM joins that may null some Vars in the clause are considered to be used in the clause. • An outer join's own JOIN/ON quals mentioning nonnullable side rels cannot be pushed down below that outer join. Distribute0 码力 | 37 页 | 851.23 KB | 1 年前3云原生虚拟数仓 PieCloudDB 的架构和关键模块实现
OpenPie Confidential WITH v AS (SELECT a, sum(b) as s FROM T GROUP BY a) SELECT * FROM v as v1, v as v2, v as v3 WHERE v1.a < v2.a AND v1.s < v3.s AND v1.a = 10 AND v2.a = 20 AND v3.a = 30; @20220 码力 | 43 页 | 1.14 MB | 1 年前3PieCloudDB 的云原生之路
仓管理复杂度,以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密,服务 器无感知技术(Serverless)利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用,S3 存储和 跨云灾备能力保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间, 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment0 码力 | 47 页 | 1.80 MB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
据 S3 /HDFS/NAS Data Table Data Table Data Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless ... ... Coordinator X + Y + Z+ +N 财务部门 投资部门 存储节点统一进 S3/HDFS/NAS 问题,帮助企业降低数仓管理复杂度,以更低的成本 实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密,服务器 无感知技术(Serverless)利用云上无限计算资源和 弹性保证了虚拟数仓永远在线可用,S3存储和跨云灾 备能力保证了永不丢数。 数据计算资源按需扩缩容,实现计算资源配置最优化, 提升数仓的敏捷性和弹性,打开无限数据计算空间,支 撑更大模型所需的数据和计算。更好地赋能业务发展并 走向绿色。0 码力 | 29 页 | 7.46 MB | 1 年前3云时代下多数据计算引擎的设计与实现
OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 • 元数据、用户数据、计算完全分离. • 用户数据(code name: Janm)支持 S3/HDFS/Posix. • 架构:Share Nothing on share storage. • 丰富的外围产品支持. • 将来会支持单机和HTAP. Postgres生态 软件交付版本 @2024 OpenPie. All rights reserved. OpenPie Confidential 计算外延 • 仓湖一体:仓衍生支持开源表格式 • 先读,Iceberg on hdfs/s3读取已基本支持. • 长远不排除”一等公民”. • 联邦查询. @2024 OpenPie. All rights reserved. OpenPie Confidential @2024 OpenPie0 码力 | 15 页 | 3.09 MB | 1 年前3
共 18 条
- 1
- 2