...................................................................................... 17 3.4 添加节点角色 ................................................................................................ 环境和对象存储，请选择第三章节《PieCloudDB 基于已有 K8S 的部署方案》 2. PieCloudDB 和 K8S 一起部署方案 2.1 配置 NTP 同步 用 root 用户在每个节点执行如下命令： 1. yum install -y chrony 2. systemctl enable chronyd 3. systemctl start chronyd 4. timedatectl 2.2 关闭防火墙 用 root 用户在每个节点执行如下命令： 1. iptables -F 2. systemctl status firewalld 3. systemctl stop firewalld 4. systemctl disable firewalld 2.3 更新系统包和依赖包 用 root 用户在每个节点执行如下命令： 1. yum update

木桶效应 传统 MPP 数据仓库架构存在“木桶效应”，集群整体执行速度取决于最“短板的”节点的性能。因此，一个节点的 表现往往会 “拖幸”整个集群的性能，导致查询速度变慢。 随卷时间的推移，业务的增长，企业往往需要在1-2年后 对集群增加计算节点，此时，无论新的计算节点性能如何好，集群总体性能都会受制于老的节点。因此真实生产环境 中，常常见到客户在需要扩容时，采取重新新建集群的方式。 数据瑰岛 出数据计算产生更多智能的机会。以下是云原生时代数字企业的典型使用场景 * 每天有数个小的计算任务，需要数个节点 * 每周有一个中等计算任务，需要数十个节点 * 每月有一个大的计算任务，需要数干个节点 面对这些不断变化的业务需求和计算任务，企业产生了更高的需求: * 无限空间: 能够提供无限存储空间， 。 灵活伸编: 随时根据业务需求弹性增加集群和工作节点 * 资源回收: 在集群完成计算任务时，可以进行资源回收，节省成本 * ”数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生平台节点等 共四种角色，具体说明如下: 1. 元数据节点; 提供元数据服务，如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ，主要负责接收用户请求和数据计算，支持

效 应 传统 MPP 数据仓库架构存在“木桶效应”，集群整体执行速度取决于最“短板的”节点的性能。因此，一个节点的 表现往往会 “拖垮”整个集群的性能，导致查询速度变慢。 随着时间的推移，业务的增长，企业往往需要在1-2年后 对集群增加计算节点，此时，无论新的计算节点性能如何好，集群总体性能都会受制于老的节点。因此真实生产环境 中，常常见到客户在需要扩容时，采取重新新建集群的方式。 数 原生时代应运而生。云原生 时代，越来越多的企业将应用向云上迁移，而越来越多的数据也流向云上。公有云带来了众多优势： 每天有数个小的计算任务，需要数个节点 每周有一个中等计算任务，需要数十个节点 每月有一个大的计算任务，需要数千个节点 无限空间： 灵活伸缩： 资源回收： 这些优势使云原生数据库得以降低计算成本，提供无限丰富的计算资源，实现分钟级的伸缩性和真正的高可用，释放 PieCloudDB 应运而生， PieCloudDB 帮助企业摆脱了 PC 架 构的限制，满足云原生数字时代需求，成为更好的选择。 能够提供无限存储空间， 随时根据业务需求弹性增加集群和工作节点 在集群完成计算任务时，可以进行资源回收，节省成本 6 PieCloudDB 云原生虚拟数仓 杭州拓数派科技发展有限公司（又称“OpenPie”）认为计算技术目前经历了三代平台: ①大型机时代；②PC机时

Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless ... ... Coordinator X + Y + Z+ +N 财务部门 投资部门 存储节点统一进 S3/HDFS/NAS 元数据 Coordinator Executor Host 1 Executor Host Table Data Table 数 仓 虚 拟 化 ： 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） ü 按需弹性开启/关闭虚拟数仓，灵活配置存算节点 ü 打破数据孤岛，消除数据多副本 @2024 OpenPie. All rights reserved. OpenPie Confidential P i e C l o u d D B 云 Processing）架构，实现多集群并发执⾏任务。企业可灵活 进⾏扩缩容，随着负载的变化实现⾼效的伸缩，轻松应对 PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免⽹络延迟和数据移动，提⾼计算效率，保 证用户的实时性需求。PieCloudDB针对底层对象存储设计了 ⾼效的⽂件格式，可在节省⽹络请求的同时提⾼计算效率。

演示 01 02 03 04 eMPP架构 存算分离，元数据/缓存/计算/云存储 01 02 03 04 各模块可以独立伸缩，模块间接口统一 每一组计算节点组成一个集群，多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract) 转换 (Transform) 导入 (Load) 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行，通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出 • 发送 SQL 语句到 PieCloudDB 控制节点 • 收集执行结果，记录进度和错误信息 • INSERT/MERGE 模式 与现有数据没有逻辑关联的时序数据流 • INSERT 模式，步骤1 Ø PieCloudDB Foreign Table，postgres扩展，需要为数据源单独开发 Ø 控制节点上读取数据源信息，决定是否拆分，生成任务信息 Ø 计算节点上根据任务信息读取数据源，返回raw数据和元信息 CREATE FOREIGN TABLE foreign_table(meta text, raw bytea); SELECT

Confidential • Segment节点并不持有持久化的数据，在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表，事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁 通过事务的方式协同实现了分布式的事务和锁 • 系统表以 mstore 的方式存储在 FoundationDB 上 • Master节点本地不持有任何全局状态 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie 云原生架构 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生特性的实现途径 • 弹性伸缩的集群 • 完全无状态的Segment节点 • Multi-cluster • 独立的系统表 • 分布式的锁和事务 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022

Processing）架构，实现多集群并发执行任务。企 业可灵活进行扩缩容，随着负载的变化实现高效的伸缩， 轻松应对 PB 级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免网络延迟和数据移动，提高计算效率，保 证用户的实时性需求。PieCloudDB 针对底层对象存储设计了 高效的文件格式，可在节省网络请求的同时提高计算效率。 销售 + 财务 Master 销售 + 财务 + 投资 Segment 虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） 元数据 FoundationDB CataLog S3 /HDFS/NAS Table Segment Segment Segment Segment Segment 虚拟数仓 3 计算节点无状态 Serverless ... ... Master X + Y + Z+ +N ü 按需弹性开启/关闭虚拟数仓，灵活配置存算节点 ü 打破数据孤岛，消除数据多副本 财务部门 元数据 Master Segment Host 1 Segment

Processing）架构，实现多集群并发执行任务。企业可灵活 进⾏扩缩容，随着负载的变化实现⾼效的伸缩，轻松应对 PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多 层缓存结构，避免⽹络延迟和数据移动，提⾼计算效率，保 证⽤户的实时性需求。PieCloudDB针对底层对象存储设计了 高效的文件格式，可在节省⽹络请求的同时提⾼计算效率。 销售 + 财务 Master 销售 + 财务 + 投资 Segment 虚拟数仓 1 虚拟数仓 2 ... 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） 元数据 FoundationDB CataLog S3 /HDFS/NAS Table Segment Segment Segment Segment Segment 虚拟数仓 3 计算节点无状态 Serverless ... ... Master X + Y + Z+ +N ü 按需弹性开启/关闭虚拟数仓，灵活配置存算节点 ü 打破数据孤岛，消除数据多副本 元数据 Master Segment Host 1 Segment Host

表对应的 S3 Block 文件在超过保留期限后会被 autovacuum 删除。 l PieCloudDB 全局缓存系统 n 支持在计算节点为一个查询缓存所需的目录（catalog）信息，在每个虚 拟数仓中，只有一个目录信息副本从协调节点分发，并共享给所有 Slices/Backends。 n 支持在 PieCloudDB 全局缓存系统中添加本地缓存。 l HLL（HyperLogLog）压缩 文件存储空间。 n 支持指定 JAMN 文件数据压缩方法，包括 None、PGLZ 或者 ZSTD。使用 ZSTD 压缩方法可以大幅度提高数据文件压缩率，降低数据文件存储成本。 n 支持预聚集块扫描节点，对 JAMN 文件块中的数据进行预聚集计算。 n 增强 JANM Data Skipping 对 IN 条件的处理能力。 n 新增 GUC 参数 pdb_enable_janm_toast，控制 文件 节省 CPU 和元数据大小。默认值为 32，与 INDEX_MAX_KEYS 相同。 3 l 外表 FDW 相关 n 新增 raw_fdw 外表接口，支持在协调节点和工作节点上执行，以原始字 节（bytea）读取文件。 n 为外表启用部分聚合能力，支持并行聚集下推。 n 新增 fdb_max_retry（替代原 MaxRetry 功能），默认值设置为 50。

Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless ... ... Coordinator X + Y + Z+ +N 财务部门 投资部门 存储节点统一进 S3/HDFS/NAS 元数据 Coordinator Executor Host 1 Executor Table Data Table 数 仓 虚 拟 化 ： 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） ü 按需弹性开启/关闭虚拟数仓，灵活配置存算节点 ü 打 破 数 据 孤 岛 ， 消 除 数 据 多 副 本 PieCloudDB云原生虚拟数仓 核心价值 物理数仓整合到云原生数据计算平台，根据数据授权 动态创建虚拟数仓，打破数据孤岛，解决数据多副本 Parallel Processing）架构，实现多集群并发执行任务。企 业可灵活进行扩缩容，随着负载的变化实现高效的伸缩，轻松 应对PB级海量数据。 全新的存储「简墨」和缓存架构设计 在计算层，各个计算节点针对元数据和用户数据都设计了多层 缓存结构，避免网络延迟和数据移动，提高计算效率，保证用 户的实时性需求。PieCloudDB针对底层对象存储设计了高效的 文件格式，可在节省网络请求的同时提高计算效率。