IvorySQL开源数据库社区 IvorySQL 用户组技术沙龙北京站 IvorySQL开源数据库社区 PieCloudDB 的云原生之路 姓名：吴疆 公司：拓数派 职位：产品及推广总监 IvorySQL开源数据库社区 吴疆 IvorySQL开源数据库社区 打造立足于国内 基础数据计算领域的世界级高科技创新驱动机构 杭州拓数派科技发展有限公司（又称“OpenPie”），以 “Data 产品要能快速进行计算资源的弹性伸缩 IvorySQL开源数据库社区 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式 MPP 架构痛点 IvorySQL开源数据库社区 PART 02 云原生数据库 PieCloudDB 简介 IvorySQL开源数据库社区 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE 技术保证了所有数据在落盘前完成加密，服务 器无感知技术（Serverless）利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用，S3 存储和 跨云灾备能力保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开无限数据计算空间， 更好地赋能业务发展并走向绿色。 降低数仓硬件和管理成本 提升数据计算资源利用效益

愿景：安全可靠 使用简单 功能齐全 性能极致 传统分布式MPP架构痛点 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩缩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 我们需要一个云原生数据库 云解决了什么？ 借助于云上分布式存储，解耦存储 借助于虚拟化技术和之上的IaaS，解耦计算 池化资源，按需使用 基础软件尤其是数据库软件上云已是大势所趋 也⽀持HDFS，NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 (TDE) • 分布式对象存储多副本多可⽤区保证数据安全：“⼀份”数据， 避免数据不⼀致 • 将来Time Travel查询“回收站”数据 ⽤户数据查询效率优化 • 远程访问数据要考虑的点：性能和成本 • 如何解决？ • 数据和/或辅助信息缓存，同时⼀致性Hash减少数据移动 • 读取优化（⽐如异步并⾏等） • 计算优化（各种功能特性持续优化中）

1 Release Note 最新版本： V2.8 发布日期： 2023 年 10 月 内 核 l 回收站功能 实现回收站来跟踪逻辑上被删除（TRUNCATE/DROP/ALTER 等）的表，这些 表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计

/lib/postgresql/data 在 master 节点检查 PV： 1. kubectl get pv 如果存在 pv-fdb, pv-etcd, pv-minio, pv-postgres，请务必在运行脚本前删除它们： 1. kubectl delete pv pv-fdb pv-minio pv-postgres pv-etcd 2.13 PDB 部署和启动 在 master 节点，用 master 节点的 piedbinstaller 目录下执行如下命令： 1. vi create_harbor_project.sh ##修改 create_harbor_project.sh 脚本内 容，把 harbor 的 url、user 以及 passwd 等换成对应的现场信息 1. chmod +x create_harbor_project.sh 2. . helm repo remove harbor 2. helm repo list 1. vi push_charts.sh ##修改 push_charts.sh 脚本内容，把 harbor 的 url、 user 以及 passwd 等换成对应的现场信息 1. chmod +x push_charts.sh 2. ./push_charts

的成本实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利用云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可用，S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 支撑更⼤模型所需的数据和计算。更好地赋能业务发 展并⾛向绿⾊。 展并⾛向绿⾊。 提升数据计算资源利用效益 TDE技术保证了所有数据在落盘前完成加密，服务器 ⽆感知技术（Serverless）利用云上⽆限计算资源和弹 性保证了虚拟数仓永远在线可用，S3存储和跨云灾备 能⼒保证了永不丢数。 坚如磐⽯ | ⾼安全 ⾼在线 ⾼可靠 MPP πPG eMPP 内 核 存 算 分 离 重 写 云原⽣创新设计和专利 ⾏业顶级数据库的 抽象思考和设计原则复用 eMPP：根据计算任务智能调度合适的资源，将⼀个单⼀计算 任务在⼤量独立的计算机上并⾏执⾏。 Ø 多租户，资源隔离。 Ø 弹性伸缩，支持多集群协同。 存储层： Ø 存算分离，存储独立扩展。 Ø ⾼可靠，支持跨多数据中⼼的灾备复制。 Ø 节约成本，全局数据唯⼀存储，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本。 事务管理： Ø 存两种隔离级别：Read Committed、Repeatable

reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 数据 计算 仓管理复杂度，以更低的成本实现存算资源在云上 更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务 器⽆感知技术（Serverless）利⽤云上⽆限计算资源 和弹性保证了虚拟数仓永远在线可⽤，S3存储和跨 云灾备能⼒保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开⽆限数据计算空间， 更好地赋能业务发展并⾛向绿⾊。 降低数仓硬件和管理成本 提升数据计算资源利用效益 OpenPie. All rights reserved. OpenPie Confidential • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 • 高可用/可靠存储 • 支持跨多数据中心复制数据 • 唯一真理 • 全局只需要存储一份数据，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本 存储 @2022 OpenPie. All rights reserved

相应的业务信息化系统。我们在真实 客户场景中，常常看到很多企业有成百上千个集群，但这些集群的元数据往往都是一样的。这种情况下，很多元数据 会在不同集群间存在不一致的版本信息。此外，如果企业需要做跨集群的访问，往往非常困难，会造成数据孤岛的存 在。 运 维 成 本 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新 团队经验丰富的数据科学 家团队可以为企业用户提供相关建议。 10 多云部署 PieCloudDB 可根据客户需求在任何IaaS（裸金属服务器、虚拟机、K8S容器等）上运行。借助这种“不受限于基础架 构”的跨云部署，企业可以打通多云的数据管道，解锁对特定IaaS云的依赖并获得云资源议价权。企业在 PieCloudDB 上部署时，可以： 1. 消除平台/供应商制约： 2. 在任何位置运行： 的逐渐升级。 数据透明加密（TDE） 技术保证了所有数据在落盘前完成加密，服务器无感知技术 (Serverless) 利用云上无限计算资 源和弹性保证了虚拟数仓永远在线可用，S3 存储和跨云灾备能力保证了永不丢数。 敏捷可靠 降低数仓硬件和管理成本 传统数据仓库的黑箱状态，导致企业无法及时处理扩容、节点故障等问题。而 PieCloudDB 云原生虚拟数仓部署在云 上，具备云计算的敏捷、高效特性，且兼具

reserved. OpenPie Confidential 我们需要一个云原生大数据平台 缺乏弹性 业务使用不灵活 成本高昂 集群固定，资源利用率低 木桶效应 扩容难 数据孤岛 元数据和用户数据跨集群 访问困难 运维成本 运维和DBA 传统分布式MPP架构痛点 @2022 OpenPie. All rights reserved. OpenPie Confidential 一个云原生实时大数据平台 OpenPie. All rights reserved. OpenPie Confidential • 多租户隔离 • 容量和带宽独立于计算伸缩 • 可按使用量付费 • 高可用/可靠存储 • 支持跨多数据中心复制数据 • 唯一真理 • 全局只需要存储一份数据，通过共享存储来实现数据共 享，避免拷贝和维护多份数据副本 存储 @2022 OpenPie. All rights reserved

建设相应的业务信息化系统。我们在真实 客户场景中，常常看到很多企业有成百上千个集群，但这些集群的元数据往往都是一样的。这种情况下，很多元数据 会在不同集群间存在不一致的版本信息。此外，如果企业需要做跨集群的访问，往往非常困难，会造成数据孤岛的存 在。 运维成本 对于传统 MPP 数仓，企业往往会需要配备运维人力，且对运维、开发人员要求高，需要相关人员掌握复杂的技术 栈，技术的更新迁代迅速，相关 团队经验丰富的数据科学 家团队可以为企业用户提供相关建议。 ，* 多云部署 pieCloudDB 可根据客户需求在任何laaS (裸金属服务器、虚拟机、K8S容器等) 上运行。借助这种“不受限于基础架 构”的跨云部署，企业可以打通多云的数据管道，解锁对特定laaS云的依赖并获得云资源议价权。企业在 PieCloudDB 上部署时，可以: 1. 消除平台/供应商制约: 湖企业可根据自身需求选择不同的供应商来获得

成本 实现存算资源在云上更灵活的配置。 TDE技术保证了所有数据在落盘前完成加密，服务器 无感知技术（Serverless）利用云上无限计算资源和 弹性保证了虚拟数仓永远在线可用，S3存储和跨云灾 备能力保证了永不丢数。 数据计算资源按需扩缩容，实现计算资源配置最优化， 提升数仓的敏捷性和弹性，打开无限数据计算空间，支 撑更大模型所需的数据和计算。更好地赋能业务发展并 走向绿色。