PieCloudDB Database 社区版集群安装部署手册 V2.1
podman \ 19. runc 20. yum install -y yum-utils device-mapper-persistent-data lvm2 21. yum-config-manager --add-repo http://mirrors.aliyun.com/docker- ce/linux/centos/docker-ce /var/lib/fdb/data 2. - Etcd: /var/lib/etcd/data 3. - minIO: /var/lib/minio/data 4. - Postgres: /var/lib/postgresql/data 在每个节点都要执行如下命令: 1. mkdir - p /var/lib/fdb/data /var/lib/etcd/data /var/lib/minio/data /var/lib/minio/data /var /lib/postgresql/data 在 master 节点检查 PV: 1. kubectl get pv 如果存在 pv-fdb, pv-etcd, pv-minio, pv-postgres,请务必在运行脚本前删除它们: 1. kubectl delete pv pv-fdb pv-minio pv-postgres pv-etcd0 码力 | 42 页 | 1.58 MB | 1 年前3PieCloudDB 的云原生之路
IvorySQL开源数据库社区 吴疆 IvorySQL开源数据库社区 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司(又称“OpenPie”),以 “Data Computing for New Discoveries”「数据计算,只为新 发现」为使命,成立后的短短10个月时间内,完成了包括头部 产业基金、东吴证券、元禾重元和政府科创平台在内的连续三 轮战略融资。 发现:在云上,对计算模型以更低成本提供指数级的存储和计算资源, 帮助甲方的业务模型发现新洞察或者提高精准度,从而建立竞争壁垒。 1 2 3 产 品 理 念 最 终 实 现 大 数 据 愿 景 Big Data Promises Finally Come True IvorySQL开源数据库社区 • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难(后期升级部署困难) 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment Segment Segment Segment 虚拟数仓 3 计算节点无状态 Serverless .0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB云原生数仓虚拟化之路
Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential 杭州拓数派科技发展有限公司(又称“OpenPie”),以“Data Computing for New Discoveries”「数据计算,只为新发现」为使命, 成立后的短短10个月时间内,完成了包括头部产业基金、东吴证券、元 禾重元和政府科创平台在内的连续三轮战略融资。 发现:在云上,对计算模型以更低成本提供指数级的存储和计算资源, 帮助甲方的业务模型发现新洞察或者提高精准度,从⽽建⽴竞争壁垒。 1 2 3 产 品 理 念 最 终 实 现 大 数 据 愿 景 Big Data Promises Finally Come True @2022 OpenPie. All rights reserved. OpenPie Confidential • 秒级扩缩容 • 多集群共享一份数据集 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间(私有部署更加敏感) 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment Segment Segment Segment 虚拟数仓 3 计算节点无状态 Serverless .0 码力 | 44 页 | 1.64 MB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
杭州拓数派科技发展有限公司(又称"OpenPie")是立足于国内,基础数据计算领域的高科技创新机构。 作 为 国 内 云 上 数 据 库 和 数 据 计 算 领 域 的 引 领 者 , 拓 数 派 以 “Data Computing for New Discoveries”「数据计算,只为新发现」为使命,致力于在数字原生时代,运用突破性计算理论、 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准 Greenplum数据库(中国)创始人 大数据意见领导者 h t m 5 1 1 20 2 2 45 3 2 80 4 1 125 5 2 180 6 2 数 据 计 算 , 只 为 新 发 现 (Data Computing for New Discoveries) • 全新云原生架构「一份数据,多引擎计算」 弹 性 扩 缩 容 , 打 破 数 据 孤 岛 • 全 面 支 持 虚拟数仓 2 ... 虚拟数仓 N Executor ... 销售部门 ... ... 元数据统一映 射管理 元 数 据 S3 /HDFS/NAS Data Table Data Table Data Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless0 码力 | 29 页 | 7.46 MB | 1 年前3πDataCS赋能工业软件创新与实践
虚拟数仓 2 ... 虚拟数仓 N Executor ... 销售部门 ... ... 元数据统一 映射管理 元 数 据 S3 /HDFS/NAS Data Table Data Table Data Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless Host 2 Executor Host 3 Data Table Data Table Data Table 元数据 Coordinator Executor Host 1 Executor Host 2 Executor Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 : 物 理 数 仓 整 计算节点 JANM Table Format 管控节点 安全审计 API接⼝ ETL功能 数据洞察 运维管控 用户权限 NAS⽂件存储 HDFS分布式⽂件系统 S3对象存储 其他Data Lake Bare-Metal IaaS资源 执⾏器 执⾏器 执⾏器 协调器 协调器 虚拟数仓1 执⾏器 协调器 虚拟数仓2 执⾏器 … 连接管理 查询优化器 资源隔离 向量化执⾏0 码力 | 36 页 | 4.25 MB | 1 年前3PostgreSQL 查询优化器解析
©2023 OpenPie. All rights reserved. OpenPie Confidential Data Computing for New Discoveries 数 据 计 算 , 只 为 新 发 现 @2024 OpenPie. All rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved OpenPie Confidential • Dedicated to "Data Computing for New Discoveries" • Aims to become a world-class high-tech innovation- driven institution in the field of data computing • PieCloudDB, OpenPie’s OpenPie’s flagship product, is a cutting- edge cloud-native data warehouse. It delivers elastic, highly available, and fully adaptable distributed HTAP database capabilities @2024 OpenPie. All rights reserved0 码力 | 37 页 | 851.23 KB | 1 年前3云原生虚拟数仓 PieCloudDB ETL 方案设计与实现
temp_table • Merge/Upsert 模式,示例1 ok lpk op data 1 1 insert 2 2 2 insert 3 3 3 delete 0 4 3 insert 5 lpk data 1 2 2 3 3 5 • Merge/Upsert 模式,示例2 ok lpk op data 1 1 insert 2 2 2 insert 3 3 3 delete delete 0 4 3 insert 5 5 4 delete 0 lpk data 1 2 3 3 lpk data 1 2 2 3 3 5 Postgres->PieCloudDB 增量数据实时cdc演示0 码力 | 29 页 | 5.24 MB | 1 年前3PieCloudDB:云原生分布式虚拟数仓的诞生之旅
毕业于中国科学技术⼤学(专业语⾳识别). @2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB简介 • ⼀款云原⽣分布式虚拟数仓 • Data: Shared Storage (S3/HDFS/NAS) • Meta: Shared on NoSQL (当前是FoundationDB) • Postgres⽣态 • 软件交付版本 • @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 数据存储设计考虑 • S3访问友好(各种统计数据⽤于data skipping、查询加速等) • OLAP友好(PG的HEAP是OLTP⾏存引擎) • 计算引擎加速友好(SIMD, SIMT, etc) @2022 OpenPie. All rights Confidential 构建之路 - 数据存储 • 最后设计格式:JANM (简墨) • ⼀个S3⽂件内所有数据MVCC可⻅性⼀致 (U/D/I写新⽂件). • ⾏列混存,Cache访问友好. • 附带元数据⽤于data skipping、预聚集等. • Encode/Compress • Encryption (TDE) • Large-size column • 访问时候内存Arrow Format • Medium-size0 码力 | 24 页 | 2.01 MB | 1 年前3PieCloudDB Database 产品白皮书
2973 2024 2025 1DC:全球数据圈预测 数据量的爆发式增长 为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算 (Data Computing) 的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。 回云计算时代。每一代计算平台的变更,都带来了数据计算技术的突破性创新的可能性。随着计算技术从大型 机时代变革为PC机时代,PC机逐渐取代大型机,极大地降低计算门极,计算资源日渐丰富,数据计算技术突破性创 新。 Openpie 以“Data Computing for New Discoveries ” 数据计算,只为新发现」 为使命,旗下云原生虚拟数仓 PieCloudDB,运用全新 eMPP (elastic Massive Parallel 打破了数据湖与数据仓库割裂的体系,架构上实现了将数据湖的灵活性、生态丰富与数据仓库的企业级 能力充分融合,帮助企业构建数据湖和数据仓库下合的数据管理平台。 PieCloudDB 内置的 foreign-data wrapper 《FDW) 模块,让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持JS5ON,XML,Parquet以及 二进制数据等格式,同时,PieCloudDB0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
能化与数字化时代的发展。 数据量的爆发式增长 为了挖掘数据的价值,企业面临着海量数据的存储与分析需求,业务也面临着更多热点及突发流量所带来的挑战。面 对数据计算(Data Computing)的巨大诉求、数据组织的运行成本的急剧增加、数据格式的丰富多样,企业的数字 化转型面临巨大挑战,急需一款数据库产品,帮助其最大化利用数据资产,降本增效,进行更智能高效的数据计算。 据计算技术的突破性创新的可能性。随着计算技术从大型 机时代变革为PC机时代,PC机逐渐取代大型机,极大地降低计算门槛,计算资源日渐丰富,数据计算技术突破性创 新。 OpenPie 以 “ Data Computing for New Discoveries ”「数据计算,只为新发现」为使命,旗下云原生虚拟数仓 PieCloudDB,运用全新 eMPP(elastic Massive Parallel 打破了数据湖与数据仓库割裂的体系,架构上实现了将数据湖的灵活性、生态丰富与数据仓库的企业级 能力充分融合,帮助企业构建数据湖和数据仓库融合的数据管理平台。 PieCloudDB 内置的 foreign-data wrapper (FDW)模块,让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持 JSON,XML, Parquet以及 二进制数据等格式,同时,PieCloudDB0 码力 | 17 页 | 2.02 MB | 1 年前3
共 18 条
- 1
- 2