rights reserved. OpenPie Confidential @2024 OpenPie. All rights reserved. OpenPie Confidential 云时代下多数据计算引擎的设计与实现 郭罡 CTO 拓数派（OpenPie） @2024 OpenPie. All rights reserved. OpenPie Confidential 关 于 拓 数 派 核心团队来自于各大厂名校，有丰富的数据库（Greenplum，DB2，ClickHouse等）研发 和产业经验. • 产品 πDataCS：多计算引擎，包括自研分布式数据库PieCloudDB，自研分布式向量数据库 等. • PieCloudDB 存储底座是各计算引擎的载体. • 已落地或者正在落地：IoT、金融、新能源、医疗等行业. @2024 OpenPie. All rights reserved reserved. OpenPie Confidential 云时代 数据计算 多数据模态支持 广泛的生态支持 “一份数据，多引擎计算”的述求 让数据流动起来 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 简介 一款云原生分布式 分析型数据库 • 元数据、用户数据、计算完全分离. • 用户数据（code

企业简介 l OpenPie是立⾜于国内的基础数据计算领域⾼科技创新机构； l 拥有强⼤的数据库内核研发团队、数据科学团队和数字化 转型团队； l 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎⽅ 向进⾏创新，全面拥抱AI技术趋势。 企业⽂化 使命：数据计算，只为新发现 愿景：成为立⾜中国基础数据计算领域的全球顶级⾼科技创新机构 价值观：以⼈为本、开放创新、拥抱变化、诚信正直 拓数派中国总部与全球分支机构 社区版与商业版正式发布 极速进⼊成长期 Day-1 2023 引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原⽣虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌 与东吴证券在数仓虚拟化和信创领域展开试点合作 12月 业中唯⼀“年度创业⼈物” 打造⼤模型时代 立身中国的世界级团队 首家以虚拟数仓通过信通院/可信AP数据库评测 7月 拓数派数据计算引擎PieCloudDB虚拟数仓再获信创认可 8月 拓数派⼊选中国信通院“铸基计划”「⾼质量数字化 转型产品及服务全景图」 拓数派再次携WAIC创建智能驾驶科技分会 杭州萧⼭区政府“⼀事⼀议”支持政策获 批 9月 拓数派上榜《毕马威中国-未来独角兽

驱动企业实现从"软件公司"到"数据公司"再到"数学公司"的持续进阶。 拓数派旗下大模型数据计算系统（PieDataComputing System，缩写πDataCS），以云原生技术 重构数据存储和计算，一份存储，多引擎数据计算，全面升级大数据系统至大模型时代，使得自主可 控的大模型数据计算系统保持全球领先，成为AI的基础科技底座的同时，开启AI技术的新范式。 πDataCS旨在助力企业优化计算瓶颈、充分利用和 染在数学、物理、 计算机和经济学，获得物理经济学双学位。（北大报道）研究生就读卡内基梅隆大学。(InfoQ报道) • 归国前就职于美国Oracle公司数据库服务器技术部门，是Oracle Cloud Control的分布式调动引擎的 主要贡献者之一。 • 因为参与Pivotal的拆分创建、C轮融资和IPO成功，以及主导的Greenplum产品在全球范围的开源影 响力，被《数字商业周刊》 社区版与商业版正式发布 极速进入成长期 Day-1 2023引领数据计算时代到来 3月 2023拓数派战略暨新产品发布会 重磅发布πDataCS数据计算系统首个计算引擎 PieCloudDB云原生虚拟数仓 拓数派基于阿里云构建公共云数据仓库服务 正式上线 6月 上榜 EqualOcean 2022年源自中国值 得关注的新锐全球化科技品牌 与东吴证券在数仓虚拟化和信创领域展开试点合作 12月

很多受欢迎的数据库仓库均为分布式数据库，而典型 分布式数据库系统大多是 MPP (大规模并行计算) 架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时，所有机器同时并行计算，理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ，节省了海量数据的处理时间。 PieCloudDB，运用全新 eMPP (elastic Massive Parallel Processing) 分布式技术，旨在为企业提供包含实时处理、 移级扩缩容、弹性计算、集成数据分析等强大功能的云上数据存储和计算引擎，助力企业实现数据价值最大化。 pieCloudDB 为企业构建坚如般石的虚拟数仓，以云资源最优化配置实现无限数据计算可能，基于新一代数仓虚拟 化，提供云数仓智能化解决方案，助力企业建立以数据资产为核心的竞争整垒。 提升数仓的敏捷性和弹性，助力企业降低数仓管理复杂度，实现数量级增加可计算数据空间的同时，数量级降低数仓 成本，打开无限数据计算空间，推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless)及TDE等多项核心技术加持下，为企业构建高安全，高可靠，高在线 【坚如大石) 的云原生虚拟数仓， 助力企业实现数据价值最大化，更好地赋能业务发展并走向绿色，成为新一代Al数据计算基础设施的一个典范。

很多受欢迎的数据库仓库均为分布式数据库，而典型的传统分布式数据库系统大多是 MPP（大规模并行计算）架构。 MPP 架构的数据库以 PC 服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时，所有机器同时并行计算，理论上最高可以 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 udDB 支持部署在物理服务器、虚拟机以及容 器中，同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生管控平台节 点等共四种角色，具体说明如下： 1. 元数据节点： 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的 数据分析、性能监控、集群启停、自动化部署以及权限管控等能力; 数据应用层： 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析，提供标准的 SQL 接口，且内置各种分析工 具，并原生兼容 Postgres 生态，可以很好地处理地理信息数据和文本，未来会扩展其他 API 接口，支持常见的数仓的 数据分析和人工智能、数据科学等功能。

构建坚如磐石的 eMPP 云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布 PieCloudDB「云上云」版 云原生数仓虚拟化引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 正式上线 IvorySQL开源数据库社区 免费试用 PieCloudDB 云上云版：https://app.pieclouddb.com IvorySQL开源数据库社区 目录 数据库的云原生远景 时具 备数据共享的能力。 例如：投资管理系统和财务管理系统可以各自管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使用时间和规模计算成本，而不是购买大量服务器静置为不确定 的使用额外支付成本。 发现：在云上，对计算模型以更低成本提供指数级的存储和计算资源， 帮助甲方的业务模型发现新洞察或者提高精准度，从而建立竞争壁垒。 1 2 3 产 品 行 业 高 质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统一运维降低成本 服务器资源池可用空间增大 数据资源池可用空间增大 虚拟机动态迁移对硬件无感知 数仓整合，降低服务器硬件或者虚拟机成本 数据计算平台统一 运维降低成本 虚拟数仓数仓高在线 虚拟数仓动态 spinoff/retire

构建坚如磐石的eMPP云原生数仓 3月 2023拓数派战略暨新产品发布会 重磅发布PieCloudDB「云上云」版 云原生数仓虚拟化 引领数据计算时代到来 拓数派基于阿里云构建公共云数据仓库服务 正式上线 @2022 OpenPie. All rights reserved. OpenPie Confidential https://app.pieclouddb.com CONTENTS 时具 备数据共享的能⼒。 例如：投资管理系统和财务管理系统可以各⾃管理，按需分享。 计算：云上计算资源可以弹性分配。有查询计算任务的时候按需启动， 按照使⽤时间和规模计算成本，⽽不是购买⼤量服务器静置为不确定 的使⽤额外⽀付成本。 发现：在云上，对计算模型以更低成本提供指数级的存储和计算资源， 帮助甲方的业务模型发现新洞察或者提高精准度，从⽽建⽴竞争壁垒。 1 2 3 产 品 行 业 高 质 量 发 展 注 入 加 速 度 云 计 算 时 代 的 到 来 数 据 计 算 时 代 的 到 来 服务器整合,降低服务器硬件成本 云计算平台统⼀运维降低成本 服务器资源池可⽤空间增⼤ 数据资源池可⽤空间增⼤ 虚拟机动态迁移对硬件⽆感知 数仓整合，降低服务器硬件或者虚拟机成本 数据计算平台统⼀ 运维降低成本 虚拟数仓数仓⾼在线 虚拟数仓动态spinoff/retire对计算资源⽆感知

@2022 OpenPie. All rights reserved. OpenPie Confidential PieCloudDB 核心架构特点 元数据服 务 eMPP分布式 引擎 存储服务 透明数据加密 @2022 OpenPie. All rights reserved. OpenPie Confidential D a t a C o m p u t i n g f o Confidential D a t a C o m p u t i n g f o r N e w D i s c o v e r i e s 数 据 计 算 ， 只 为 新 发 现 02 分布式引擎 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算 • MPP • 将一个单一计算任务在大量独立的计算机上并行执行。 • 数 据 计 算 ， 只 为 新 发 现 03 用户数据存储 @2022 OpenPie. All rights reserved. OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 （数据共享，存算分离） • 兼容HDFS，NAS，本地磁盘 • 公有云，私有云，混合云 • 现代的硬件 • CPU/GPU 高速缓存访问

⺫的： • 减轻FoundationDB集群负担 • 加速查询优化（⺴络延迟远⾼于内存延迟） • 以Postgres原⽣的元数据缓存概念为基础，优化重构实现适⽤于 多集群架构 ⽤户数据存储引擎 • PAX（⾏列混存）配以⾼效压缩 • Block⽂件为⼀个存储(MVCC)单位 • 辅助信息存储⽤于计算优化 • 设计考虑： • ⾼效和精准的统计信息收集 • 存储和计算成本 • 各种计算优化 数据和/或辅助信息缓存，同时⼀致性Hash减少数据移动 • 读取优化（⽐如异步并⾏等） • 计算优化（各种功能特性持续优化中） • 很多复杂OLAP查询如果不是IO瓶颈，不会受制于它 • …... 计算引擎之优化器 PieCloudDB Optimizer 是⼀个基于eMPP架构的云原⽣分布式优化器，它 可以为海量数据集上的复杂OLAP查询提供最优的查询计划。 • 分布式优化器 • 处理复杂OLAP查询 更多⾼阶计算功能 (cont.) • 预计算：很快⾯世 • Data skipping：⽂件裁剪⽀持很快⾯世 • 更多计算引擎⼯作在路上：SIMD, runtime filter，late materization，...... 分布式计算引擎 • MPP弹性计算引擎：按需付费 • 租户隔离（彼此不影响） • ⾼可⽤（⾃动处理各种错误） • ⾼并发 PieCloudDB⽣态 • 各种外

拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技 创新机构； • 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团 队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • PieCloudVector架构设计与挑战 • 案例介绍 大模型 检索增强生成(RAG) PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持主流的ann算法，如ivf和hnsw等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持向量编码和压缩如PQ等 PieCloudVector • 使用faiss开源算法库做为向量搜索引擎 • 支持二进制索引 • 支持多级索引如HNSW+IVF等 • CPU多核并行/GPU加速 构化数据，其中非结构化数据主要是文本类数据 下一步展望 • GraphRAG 欢迎关注我们！ 麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位 中外客座导师，服务于技术团队的能力提升、软件工程效能和产品创新迭代， 超过3000余家企业续约学习，是科技领域占有率第1的客座导师品牌，msup以 整合全球领先经验实践为己任，为中国产业快速发展提供智库。 高可用