云原生虚拟数仓 PieCloudDB 的架构和关键模块实现
0 码力 | 43 页 | 1.14 MB | 1 年前3πDataCS赋能工业软件创新与实践
档的访问应建立严格的审批机制,对用于测试的⽣产数据要进⾏ 脱敏处理,严格防⽌敏感信息泄露。 存 储 层 Table Log … 密⽂ 存储 ⼀级密钥 ⼆级密钥 三级密钥 数据 访问 PieDataCS 加密 模块 存储 引擎 业务系统 明⽂访问 其他请求 根据权限返回 KMS服务 传输加密 实时加解密 加密算法兼容 完备权限管控 计 算 层 透明 加密 满⾜等保合规要求 @2024 OpenPie 支持更多的数据源,具备全量和增量数据同步功能,优化了数据采集和⼊库的性能,可通过ChunJun进⾏实时⼊库, 性能较传统GP提升了6倍; Ø 升级了数据中台的安全审计应用,采用PieCloudDB替换了ES,支持半结构化数据的查询(json/xml等数据格式), 应用开发不用再基于SPL查询语法,改用通用型的SQL语法即可,⼤⼤缩短了应用开发和迭代周期; Ø 具备流批⼀体化能⼒,兼容Spark和F ⼊成本和后续的扩容成本。 Ø 运用数仓虚拟化技术,实现全域数据计算 基础 设施 计算资源 存储资源 ⽹络资源 云原⽣资源 中间件 数据库 ⾼性能存储 离线数据 主流组件(Kafka、Flink、Spark、ES) 实时数据 数据 存储 全量数据同步 πDataCS 增量数据同步 可视化ETL 结构化数据处理 非结构化数据处理 数据标准 数据权限体系 数据质量 数据资产目录 元数据统⼀管理 数据安全0 码力 | 36 页 | 4.25 MB | 1 年前3云原生数据库 PieCloudDB : Unbreakable 安全特性剖析
持久化存储区域 主密钥 租户密钥 表密钥 页密钥 用户创建 租户创建 表创建 数据写入 用户信任域 持久化存储区域 数据存储区域 透明加密实现细节 • 模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 加密模块 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求 加密 租户密钥生成 持久化存储区域 主密钥 用户信任域 密钥生成 租户创建请求 存储 解密 定时器 上级密钥 密钥储存区 PART 04 总结 总结 • 用户侧 • 符合审计流程 • 用户无感知 • 业务不变化 • 研发侧 • 不影响内核迭代 • 独立模块,方便后续扩展 • 无历史包袱 加入我们! • 官 网: https://www.openpie.com • 公 众 号 :PieCloudDB | 拓数派 • 技术社群:扫码添加入群助手0 码力 | 34 页 | 599.00 KB | 1 年前3PieCloudDB Database 产品白皮书
的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中,查询优化器会把聚集操作下推到连接操作之前去执行,可以极大地减少连 接操作需要处理的数据量,使得查 dDB PiecloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器, 可以帮助用户对SQL进行优化,生成高效的查询计划。 此外,PieCloudDB 兼容 ORCA 优化器 (DORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器,可以帮助用 户对 SQL 进行优化,生成高效的查询计划) 。 * 原生多租户支持 PieCloudDB 台。 PieCloudDB 内置的 foreign-data wrapper 《FDW) 模块,让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持JS5ON,XML,Parquet以及 二进制数据等格式,同时,PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库Apache MADlib,从而可以原生实现一些高级机0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
完整支持 TPC-H 和 TPC-DS 等测试,实现 了包括聚集下推、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 此外,PieCloudDB 兼容 ORCA 优化器(ORCA 是一款开源的、基于 Cascades 模型的模块化查询优化器,可以帮助用 户对 SQL 进行优化,生成高效的查询计划)。 PieCloudDB 通过独 中列聚集信息,在执行期间跳过非必要的数据块,减少数据读取量提高查询性能。此外,PieCloudDB PieCloudDB 还支持查询优化器Orca。Orca是一款开源的、基于Cascades 模型的模块化查询优化器, 可以帮助用户对SQL进行优化,生成高效的查询计划。 湖仓一体化分析 PieCloudDB 支持统一的资源管控,通过云原生存储引擎支持多种存储模型,用分布式计算引擎和数据接口来实现湖 台。 PieCloudDB 内置的 foreign-data wrapper (FDW)模块,让用户可以访问 HDFS、MySQL 、Oracle等外部数据。PieCloudDB 支持 JSON,XML, Parquet以及 二进制数据等格式,同时,PieCloudDB 既支持用户利用过程语言自行开发模块进行数据分析也原生兼容开源机器学 习库 Apache MADlib,从而可以原生实现一些0 码力 | 17 页 | 2.02 MB | 1 年前3PieCloudDB Database V2.1 版本说明
于 Cascades 模型的模块化查询优化器,帮助用户对 SQL 进行优化,生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT: Kafka 流数据导入支持,copy 性能大幅提升。 • 外部数据源的查询(实验性功能): PieCloudDB 支持 foreign-data wrapper 模块,使用户可以访问包括但不限于 模块,使用户可以访问包括但不限于 HDFS、MySQL 等数据源,同时支持用户自行开发 模块来访问新的存储数据源 。 管控平台 • 用户权限优化:通过更加清晰的 UI 设计,为用户提供一体化的权限管理 • 注册选项增加:增加了手机注册选项,用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化: o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理,增强安全能力0 码力 | 3 页 | 257.15 KB | 1 年前3云原生虚拟数仓 PieCloudDB ETL 方案设计与实现
Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03 04 eMPP架构 存算分离,元数据/缓存/计算/云存储 01 02 03 04 各模块可以独立伸缩,模块间接口统一 每一组计算节点组成一个集群,多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract)0 码力 | 29 页 | 5.24 MB | 1 年前3大模型时代下向量数据库的设计与应用
与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验, 在加入拓数派前曾就职于开源大数据平台Greenplum团队,担任外部 数据源访问框架,对象存储访问扩展,ETL工具等产品模块的研发, 并曾参与PostgreSQL多个版本的代码贡献,拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派:大模型数据计算系统先行者 • 拓数派( OpenPie)是立足于国内的基础数据计算领域高科技0 码力 | 28 页 | 1.69 MB | 1 年前3PieCloudDB:基于PostgreSQL的eMPP云原生数据库
reserved. OpenPie Confidential Postgres 生态 PieCloudDB 重新打造 PostgreSQL 12.x 实现存算分离 PieCloudDB 对几乎所有内核模块做了大量的创新 PieCloudDB 内核团队拥有强悍的Postgres内核代码掌控能力 • 将来会保持和Postgres内核大版本对齐 团队也拥有丰富的Postgres内核大版本升级合并经验0 码力 | 45 页 | 1.32 MB | 1 年前3PieCloudDB Database 社区版集群安装部署手册 V2.1
4.2 浏览界面 1. 在 PieCloudDB 初始界面,可以查看右上角的登录信息,也可以切换中英文模式。右上角的 按钮下包含多项用户相关的功能,左侧的菜单栏则展示了各大使用模块。 例如,用户“汤姆”登录后,右上角会显示 piebar的tom。 2. 点击 按钮, 可以看到第一项功能 ,如果需要点击它跳转至“修改用户密码” 界面,输入原密码和新密码后点击0 码力 | 42 页 | 1.58 MB | 1 年前3
共 10 条
- 1