○ 临时文件 ○ 网络传输 ○ 权限控制 ● 跨云 ○ 公有云 ○ 私有云 云数据库实现方案 ● 全新数据库 ○ Snowflake ● 原有数据库架构升级 ○ Vertica Eon Mode ● 容器化数据库+Kubernetes ○ Apache Spark ○ CockroachDB ○ Apache HAWQ 云数据库存储方案 ● 块存储 ○ 文件系统接口 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 ○ 容器外部存储关联性 容器化分布式应用程序公共问题 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 ○ 容器外部存储关联性 Kubernetes 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 Kubernetes 101 Kubernetes 101 Master组件 Node组件 Kubernetes存储资源 PV ● PersistentVolume

CPU 调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步 时间，提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver 等更多开发工具。 Greenplum：新一代 HTAP 数据平台 Greenplum 自 2006 年发布第一个版本以来，就以精巧架构、简单易用、运行稳定、优异性能、环境适应性强在 MPP 数据库领域独占鳌头，基于 Shared Nothing 的 MPP 高性能系统架构，Greenplum 特性，运行符合 ANSI 标准 的 SQL，可以让服务器群集能够以单一数据超级计算机的方式运行，且性能比传统数据库或其他同类平台高出数十甚 至数百倍。其多种分析扩展功能支持 ANSI SQL，并通过封装扩展提供多种内置语言和附加功能。Greenplum 能够 管理各种规模的数据容量，数据量从数 GB 到数 PB 不等。 Greenplum 环境适用性强与其开放性、真正开源、社区活跃有密不可分的关系，一方面

SMP（对称多处理）架构难于扩展，并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来，Google 的两篇著名论文 发表后引起业界的关注，一篇是关于 GFS 分布式文件系统，另外一篇 是关于 MapReduce 并行计算框架的理论，分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum 正是在这一背景下产生的，借助于分 布式计算思想，Greenplum 实现了基于数据库的分布式数据存储和并 行计算（GoogleMapReduce 实现的是基于文件的分布式数据存储和 计算，我们会在后面比较这两种方法的优劣性）。 供了编译后的模块开箱即用，如：oraface、postgis、pgcrypt 等， 对于其它模块，用户可以自行将 contrib 下的代码与 Greenplum 的 include 头文件编译后，将动态 so 库文件部署到所有节点就可进行测 试使用了。有些模块还是非常好用的，例如：oraface，基本上集成了 Oracle 常用的函数到 Greenplum 中，曾经在一次 PoC 测试中，用户 提供的

........................................................................... - 34 - 编辑 pg_hba.conf 文件 ....................................................................................... - 35 - 限制并发连接数量 ...................... - 85 - 创建文件空间 ............................................................................................................ - 86 - 转移临时文件或事务文件的位置 .............................. ............................... - 90 - 查看现有的表空间和文件空间 ................................................................................ - 91 - 删除表空间和文件空间 ..............................................

[--rsyncable] 2017 年象行中国（杭州 站）第一期 gpcrondump⽤法(2/3) gpcrondump命令使用-K 来指定唯一时间戳来标示某个备份集 文件，其中如果当前备份目录中存在更未来的备份集，则备份报错。 gpcrondump命令使用-t 或者--table-file，-T或者--exclusive-table-file，-s或 者--sch 以将备份产生的所有文件都列举 出来，分为两类，分别是： 1. Pipes files 包括每个segment的数据文件（可以流式输出）、master产 生的post_data文件包含indexes, triggers, primary key constraints等数据 库对象，master产生的全局对象包含角色和表空间等 2. Regular files 包括各类辅助文件，例如存储着create database语句的文 件，备份状态报告文件等 其中最核心的每个segment的数据文件，命名格式如下： xxx_gp_dump_0_2_20170206160253.gz 其中XXX表示用户定义的文件前缀，0代表是非master节点，2代表该文件产生的 segment对应dbid，20170206160253是前面所说的时间戳。在恢复时，会根据这 个命名规则，找到对应的文件。 2017 年象行中国（杭州

数据流转过程 • 1 业务数据的产生 —— OLTP • 2 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 • 4 结果数据的展现 —— 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 Ø instance实例 - user - tablesapce Ø database - schema - table,view,function - data row Ø 物理文件 - oid - 表空间 - 数据文件命名 12 greenplum体系架构 greenplum的体系结构 13 greenplum体系架构 greenplum的体系结构 14 greenplum体系架构 兆网 Ø 数据来源为OLTP库，针对小数据量传输和计算，部分实时交互操作 Ø 以对账业务为主，统计计算为辅 • 公司IDC_02机房Greenplum体系 Ø 针对数据来源主要是kfk产生csv文件的业务，不直接从数据库传数 Ø 以重点业务线、活动数据、非OLTP业务数据的任务计算为主 • 公司IDC_03机房Greenplum体系 Ø 数据来源来源为OTLP库库，针对大数据量传输和计算，采用T+1方式

> $i;done echo never > /sys/kernel/mm/transparent_hugepage/enabled 一般不建议直接修改/boot/grub/grub.conf文件或者/boot/grub/menu.lst 常用数据库参数 参数名 Master节点值 Segment节点值 checkpoint_segments 32 32 max_connections 些参数  Vacuum Full/REORGANIZE：立即释放垃圾空间还给操作系统 Vacuum Full相当于碎片整理； Reorganize相当于重建表，数据表对应的文件名（pg_class -> relfilenode)将会发生改变。 Vacuum Full的处理性能非常低，一般情况下不建议采用，可以用Reorganize代替、或者使用AO表； –F效率低，数据库实例修复如果增量同步失败，我们一般会建议使用gprecoverseg –F进行全量同 步，全量同步是在两个节点之间全量拷贝文件，超过10 0000个对象，在数据目录下地文件数会可能达到上百万 个档，这些文件的拷贝需要花费很长时间 – 使用gpexpand扩容节点时，对象数多，对应到每个实例下的文件数非常多，将这些目的档重分布到新扩展的节 点时间会很长 – 系统表（pg_class,pg_attribute）太大，影响系统工作效率

提供强有力的分析改进。通过自动对数据进行分区和并行运行查询，它让 服务器群集能够以单一数据超级计算机的方式运行，且性能比传统数据库或其他同类平台高出数十甚至数百倍。其多种分 析扩展功能支持 ANSI SQL，并通过封装扩展提供多种内置语言和附加功能。Greenplum 能够管理各种规模的数据卷，数 据量从数 GB 到数 PB 不等。 pivotal.io/cn 白皮书 4 © Copyright 2017 开始在内部开发一款新型查询优化器，并在 Greenplum 4.3.5 版中首次推出，名为 GPORCA。 GPORCA 能够针对分析数据仓库中常见的一些复杂情况生成更高效的代码，因而非常实用。过去，系统默认使用传统查询 优化器，但自 Greenplum 5 起，GPORCA 将成为默认查询优化器。它能够通过并发的混合工作负载处理多种复杂查询， 并可提高查询性能。2 这样一来，大型团队就可以利用高级分析和多元化工作负载并行处理多

源 等。其中，国际客户包括摩根斯坦利、摩根大通、美国国家税务局、美联储、三星、戴尔、福特、 爱立信等，国内客户包括深交所、建设银行、民生银行、广大银行、浦发银行、航旅纵横、中国 移动、华为等。自 2015 年开源以来，更是吸引了包括阿里云、百度云、中移动、旷世、去哪儿 网、易观、腾云科技、饿了么、金风科技在内大量开源用户。 Greenplum 大数据平台的优势 ● 一次打包到 习新的数据库处理技术，人力成本也能够大大降低。 ● 处理和分析各种数据源的数据的平台：支持各种数据源，包括 Kafka、Hadoop、HIVE、 HBase、S3、Gemfire、各种数据库和文件等，不需要移动数据，避免了数据加载的复杂 性，和其带来的数据不一致的问题。 ● 支持各种数据格式的平台：不管是结构化、半结构化（XML、JSON、KV）还是非结构化， 譬如文本数据、GIS 数据、图数据等。 正式把投资超过 10 年的 Greenplum 开源，采用 Apache 2 协议，成为世界 上第一款成熟的开源 MPP 数据库。开源之后，Greenplum 社区发展活跃，短短 2 年左右，在全 球有上百来自美国、中国、俄罗斯、日本、英国、德国、芬兰、瑞士等国家的贡献者，获得社会 各界的广泛关注。其中 Greenplum 中文社区尤为活跃，目前约有半数的贡献来自中国开发者，社 区贡献者包括阿里云、中移

上按列进行存储，可对其使用不同的压缩算法进行压缩，对聚合查询有着天然的优势。 l 外部表：外部表的数据存储在外部，Greenplum 仅管理其元数据，支持多种外部数据源，例如 S3、HDFS、文件、Gemfire，以及多种数据格式譬如 Text、CSV、Avro、Parquet 等。 多态存储 Confidential │ ©2021 VMware, Inc. 14 多态存储 如上所 VMware, Inc. 26 QD && QE Confidential │ ©2021 VMware, Inc. 27 火山模型，或者说拉模型，是指从最顶层的输出节点开始，不断从下层节点拉取数据，一种自顶向 下的执行方式。最常见的拉模型是 Tuple-At-A-Time，即每次从下层拉取一个元组进行处理。 Greenplum、PostgreSQL、MySQL 以及 Oracle 等主流数据库均采用拉模型。