πDataCS赋能工业软件创新与实践
提升转换 CTE和递归 CTE的优化 其他相关优化 聚集下推 通过把聚集操作下推到连接操作之前去执⾏,极⼤的减少连接操作需要处理的数据量,使得查询性能显 著提升。在很多场景下经过严格的测试,聚集下推会取得百倍或千倍的性能提升。 达奇 PieCloudDB Optimizer Ø 基于eMPP架构的云原⽣分布式 优化器; Ø 为海量数据集上的复杂OLAP查 询提供最优的查询计划。 但是,经过处理⽆法识别特定个⼈且不能复原的除外。 • 《中国银⾏业“⼗⼆五”信息科技发展规则监管指导意见》中提出, 完善敏感信息存储与传输等⾼风险环节的控制措施,对数据、⽂ 档的访问应建立严格的审批机制,对用于测试的⽣产数据要进⾏ 脱敏处理,严格防⽌敏感信息泄露。 存 储 层 Table Log … 密⽂ 存储 ⼀级密钥 ⼆级密钥 三级密钥 数据 访问 PieDataCS 加密 模块 存储 OpenPie Confidential 产 品 版 本 和 部 署 ⽅ 式 ⼀体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原⽣Serverless架构 ü 第三⽅计费模式 ü 持续产品升级,体验产品最新特性 ü 丰富的社区活动,赋能社区用户 ü 强⼤的开发者支持 ü 云原⽣eMPP专利技术支持与赋能 ü 7*24小时产品故障服务响应 ü 基于业务需求的专家团队服务0 码力 | 36 页 | 4.25 MB | 1 年前3PieCloudDB Database 产品白皮书
数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中,查询优化器会把聚集操作下推到连接操作之前去执行,可以极大地减少连 数派致力于在数字原生时代,运用突破性计算理论、独创的去 原生虚拟数仓旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准,驱动企业实现从“软件 公司”到“数据公司”再到“数学公司”的持续进阶,加速数字化转型升级。 拓数派旗下旗舰产品 PieCloudDB ,采用领先的数仓虚拟化技术,可将多个数仓统一整合到一个高可用的云虚拟数 仓, 打通多云的数据管道,数据计算资源按需扩缩容,提升0 码力 | 17 页 | 2.68 MB | 1 年前3云原生虚拟数仓PieCloudDB Database产品白皮书
存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-DS 等测试,实现 了包括聚集下推、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 此外,PieCloudDB 兼容 ORCA 优化器(ORCA 是一款开源的、基于 致力于在数字原生时代,运用突破性计算理论、独创的云 原生虚拟数仓旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准,驱动企业实现从“软件 公司”到“数据公司”再到“数学公司”的持续进阶,加速数字化转型升级。 拓数派旗下旗舰产品PieCloudDB,是以对行业顶级数据库的抽象思考和设计原则复用为技术路线,可将物理数仓整合 到云原生数据计算平台,根据数据授权动态创建虚拟数仓0 码力 | 17 页 | 2.02 MB | 1 年前3云原生数据库 PieCloudDB eMPP架构设计与实现
关于Postgres • 公司中⽴,开源协议友好,国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展,插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件) • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ • 团队深度理解Postgres内核代码,在社区参与诸多贡献 PieCloudDB 架构 ⽤户数据查询效率优化 • 远程访问数据要考虑的点:性能和成本 • 如何解决? • 数据和/或辅助信息缓存,同时⼀致性Hash减少数据移动 • 读取优化(⽐如异步并⾏等) • 计算优化(各种功能特性持续优化中) • 很多复杂OLAP查询如果不是IO瓶颈,不会受制于它 • …... 计算引擎之优化器 PieCloudDB Optimizer 是⼀个基于eMPP架构的云原⽣分布式优化器,它0 码力 | 31 页 | 1.43 MB | 1 年前3PieCloudDB 的云原生之路
4月 获得元禾重元和东吴证券 Pre-A 轮投资 标志着企业进入快速成长期 拓数派 正式成立 成立杭州总部、北京研发中心、 上海全球品牌战略与生态发展中心 12月 获得腾讯投资第二轮持续加注投资 得到众多知名投资机构的关注和认可 蓬 勃 发 展 的 拓 数 派 引 领 数 据 计 算 时 代 的 到 来 9月 杭州萧山区政府“一事一议” 支持政策获批 6月 成立加拿大研发中心 i e C l o u d D B 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生 Serverless 架构 ü 第三方计费模式 ü 持续产品升级,体验产品最新特性 ü 丰富的社区活动,赋能社区用户 ü 强大的开发者支持 ü 云原生 eMPP 专利技术支持与赋能 ü 7*24小时产品故障服务响应 ü 基于业务需求的专家团队服务0 码力 | 47 页 | 1.80 MB | 1 年前3PieCloudDB云原生数仓虚拟化之路
11月 4月 获得元禾重元和东吴证券Pre-A轮投资 标志着企业进入快速成长期 拓数派 正式成立 成⽴杭州总部、北京研发中心、 上海全球品牌战略与生态发展中心 12月 获得腾讯投资第⼆轮持续加注投资 得到众多知名投资机构的关注和认可 蓬 勃 发 展 的 拓 数 派 引 领 数 据 计 算 时 代 的 到 来 9月 杭州萧山区政府“⼀事⼀议”⽀ 持政策获批 6月 成⽴加拿大研发中心 e C l o u d D B 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原⽣Serverless架构 ü 第三⽅计费模式 ü 持续产品升级,体验产品最新特性 ü 丰富的社区活动,赋能社区⽤户 ü 强⼤的开发者⽀持 ü 云原⽣eMPP专利技术⽀持与赋能 ü 7*24⼩时产品故障服务响应 ü 基于业务需求的专家团队服务0 码力 | 44 页 | 1.64 MB | 1 年前3兼容龙蜥的云原生大模型数据计算系统:πDataCS
,致力于在数字原生时代,运用突破性计算理论、 独创的云原生数据库旗舰产品以及之上的算法和数学模型,建立下一代云原生数据平台的前沿标准, 驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统(PieDataComputing System,缩写πDataCS),以云原生技术 重构数据存储和计算,一份存储,多引擎数据计算,全面升级大数据系统至大模型时代,使得自主可 统一Catalog 一份数据多引擎计算 产 品 版 本 和 部 署 方 式 一体机 企业版/社区版 云上云版 ü 领先的数仓虚拟化技术 ü 云原生Serverless架构 ü 第三方计费模式 ü 持续产品升级,体验产品最新特性 ü 丰富的社区活动,赋能社区用户 ü 强大的开发者支持 ü 云原生eMPP专利技术支持与赋能 ü 7*24小时产品故障服务响应 ü 基于业务需求的专家团队服务0 码力 | 29 页 | 7.46 MB | 1 年前3PieCloudDB:云原生分布式虚拟数仓的诞生之旅
rights reserved. OpenPie Confidential 成⻓之路 • 性能变好 • 聚集下推⽀持. • 预计算⽀持. • Block skipping初步⽀持. • 元数据系统持续的性能优化 • ... @2022 OpenPie. All rights reserved. OpenPie Confidential 成⻓之路 (cont.) • 功能变强或者补全 • 海量数据修改增强0 码力 | 24 页 | 2.01 MB | 1 年前3PieCloudDB Database 社区版集群安装部署手册 V2.1
修改外部接 入的开关、集群的名称或规格。 例如,想要从外部接入“cluster1”,“tom” 需要先关闭该集群,点击 开启外部接入功 能,然后再开启 “cluster1”,详细的接入步骤请持续关注后续更新。 3. 创建完集群后,可以在菜单栏点击 ,查看文件和数据库信息,默认的数据库是 “postgres”。如果需要新建文件,可以点击 ,命名为“file1”,点击选择数据库0 码力 | 42 页 | 1.58 MB | 1 年前3大模型时代下向量数据库的设计与应用
Faiss与postgres内核对接 - gpu搜索的特殊路径 • 避免并发调用gpu • 查询请求按批单线程提交 PieCloudVector • 兼容国产硬件和操作系统 PieCloudVector • 通过信通院测试 案例分析 - 东吴证券秀财gpt • 采用自研大模型东吴秀财GPT + LangChain开发框架 + PieCloudVector向量数据库构建了AIGC应 用平台,接入了交易应用的结构化0 码力 | 28 页 | 1.69 MB | 1 年前3
共 10 条
- 1