Greenplum（当时还是一个 Startup 公司，创始人家门口有 一棵青梅 ——greenplum，因此而得名）召集了十几位业界大咖（据 说来自 google、yahoo、ibm 和 TD），说干就干，花了一年多的时间 完成最初的版本设计和开发，用软件实现了在开放 X86 平台上的分布 式并行计算，不依赖于任何专有硬件，达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 ，而不是mysql等等）， 但是 Postgresql 是单实例数据库，怎么能在多个 X86 服务器上运行多 个实例且实现并行计算呢？为了这，Interconnnect 大神器出现了。在 那一年多的时间里，大咖们很大一部分精力都在不断的设计、优化、 开发 Interconnect 这个核心软件组件。最终实现了对同一个集群中多 个 Postgresql 实例的高效协同和并行计算，Interconnect 台基础上 提供强大的并行数据计算性能和海量数据管理能力。这个能力主要指 的是并行计算能力，是对大任务、复杂任务的快速高效计算，但如果 你指望 MPP 并行数据库能够像 OLTP 数据库一样，在极短的时间处 理大量的并发小任务，这个并非 MPP 数据库所长。请牢记，并行和 并发是两个完全不同的概念，MPP 数据库是为了解决大问题而设计的 并行计算技术，而不是大量的小问题的高并发请求。 再通俗点说，Greenplum

GP4.2.2 的 AdminGuide，如今，GP 已经历经了无数个版 本更新和迭代，编者也有了更多的感悟，放眼 GP 的中文资料，为之动容，就想着再为 GP 的发展壮大多做那么一点点贡献，挤出一点时间，重新梳理和打磨这个文档，并完 全根据最新的版本特性进行重新整理，希望能对中文爱好者提供一些帮助，在编写过程 中，仍会参考官方文档，但绝不是简单的翻译，甚至有些内容会与官方文档不一致。 编者提醒，升级版本极其重要，4 如果您在阅读和参考本书的过程中发现有任何不妥之处，或者有任何的建议和意见， 欢迎联系编者，本书主要针对 GP 数据库的爱好者进行编写，包括产品的安装和使用说 明，以及最佳实践等内容。本书的发布更新情况与编者的时间有关，不做承诺。 编写： 陈淼 电邮： miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 ........................................................................................ - 29 - 基于时间的登录认证 .............................................................................................

Hash ▪ 均匀性：通过概率做到均匀分布 ▪ 稳定性：在相同集群大小下，同一个Tuple每次计算结果相同 ▪ 单调性：扩容过程中，旧节点之间没有数据迁移 ▪ 高效性：对于集群大小为N的时候，时间复杂度为Log(N) – 更多算法细节请参考链接。https://arxiv.org/pdf/1406.2294.pdf – 通过GUC gp_use_legacy_hashops 可以控制，默认是Jump

26 ● 假设顺串(长度为L)分布在K个文件中，顺串合并时需要K个输入缓冲区和1个输 出缓冲区，每次选取K个缓冲区的最小值，输出到输出缓冲区。最后，输出缓冲 区输出的顺串长度为L*K ● 算法复杂度 O(K* (L*K)) 顺串合并 1 10 30 44 56 . . . 6 8 34 64 66 . . . 7 11 12 13 17 . . . 22 55 67 77 79 .

0000个对象，在数据目录下地文件数会可能达到上百万 个档，这些文件的拷贝需要花费很长时间 – 使用gpexpand扩容节点时，对象数多，对应到每个实例下的文件数非常多，将这些目的档重分布到新扩展的节 点时间会很长 – 系统表（pg_class,pg_attribute）太大，影响系统工作效率 – 系统元数据检查pg_checkcat等工具运行时间比较长 物理模型经验分享 物理模型对于 同一个对象内的数据，如果需要分类授权（例如按照机构号，用户只能查看各自所属机构数据），采 用多个视图（视图也是一个对象）映像的方式进行权限划分，然后再将视图进行授权。 SQL被lock了怎么处理  当一个SQL 较长时间都都没有完成，可以怀疑是某些资源被LOCK了  查看是否被锁的方法： – Select*from pg_state_acitivty的waiting状态是否为true – Select*fromgp_toolkit Center，是否有报警信息  检查standby同步状态 – 执行gpstate -f  检查Primary、mirror同步状态 – 执行gpstate -e  检查运行时间长的SQL – select*from pg_stat_activity order by query_start，检查是否有3~6个小时以上的SQL仍在运行  检查空间使用情况 – gpssh

12/206 4.确认⽀付 快速上⼿ Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 13/206 5.等待部署中 数据仓库规模不同，所需要的部署时间会有所差异。 快速上⼿ Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 14/206 快速上⼿ Greenplum数据仓库 UDW Copyright 41/206 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 42/206 数据仓库扩容过程中需要对数据进⾏重分布，因此，扩容完成的时间根据数据量的⼤⼩⽽不同。⽬前，暂时不⽀持数据仓库的缩容。 更改数据仓库密码 更改数据仓库密码 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 82/206 udw 的数据类型和 postgresql 基本⼀致，在选择数据类型的时候应该尽可能占⽤空间⼩，同时能够保证存储所有可能的数值并且最合理地表达数据。 使⽤字符型数据类型保存字符串，⽇期或者⽇期时间戳类型保存⽇期类型，数值类型来保存数值。 使⽤ VARCHAR 或者 TEXT 来保存⽂本类数据。不推荐使⽤ CHAR 类型保存⽂本类型。VARCHAR 或 TEXT 类型对于数据末尾的空⽩字符将原样保存和处理，但是

的实时抢占及抖 动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步 时间，提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 2. 夯实云化基座 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 docker+qemu 方案，底噪和启动时间 优化 40%。 • 双平面部署工具 eqqo：ARM/X86 双平面混合集群 0S 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae.集成 Ku 白皮书 8 白皮书 | 8 • 嵌入式：发布面向嵌入式领域的版本 openEuler 21.09 Embedded，镜像大小<5M，启动时间<5S。 4. 繁荣社区生态 友好卓面环境：UKUDDEXfce 卓面环境，丰富社区卓面环境生态。 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver

电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有，昂贵 不可扩展 针对OLTP进行了优化 • 数据规模 • 20TB，每天增长400GB • 优势 • 将响应时间缩短90% “借助运行Greenplum数据引擎的Sun数据仓库设备，Reliance可以在快速发展，用户需求不断增加 的数据环境中达到预期的高度响应能力。” - Reliance 的副总裁和主管（决策支持系统）Raj Joshi 25 响应时间 (分) 以前的数据库 客户实例： PLDT • 业务问题 CDR分析 CDR分析 • 竞争对手 Oracle • 数据规模 2200万用户 / 7亿次交易 • 优势 数据装载时间减少8倍，查询速度 从2小时提高到15分钟 “我们业务所面临的一个关键挑战就是要处理很大的数据量。 Greenplum技术可以帮助我们更好地了 解我们的客户及其需求。” PLDT的Alexander Seminiano Sun DW Oracle 1 10 15 mins

Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） • “现在”的数据 —— OLTP • “过去”的数据 —— OLAP • “未来”的数据 —— 趋势分析 4 数据仓库体系架构 业务数据与数据特点 表的散列键不恰当 Ø 分区表的分区键性能不佳 • 加载易出现问题 Ø 文件加载出现特殊字符 Ø 数据校验标准问题 35 Greenplum开发规范 业务库表设计规范 • GP中表的范围 Ø 最大时间为年表 Ø 数据量小，可用单表 • 多种表类型 Ø 堆表 （选好常用列作为三列键） Ø 分区表 （按照 yyyymmdd 分区，建议都添加 datenum int8） Ø append表 Ø 列存储表 vaccum 操作 Ø避免直接在Greenplum执行消耗session会话的操作 Ø尽量不创建索引 • 上线与调度规范 Ø上线的程序，必须要经过测试，才可以生产使用 Ø调度程序需考虑每个任务的前后关系，时间富裕 Ø避免因为过于追求并行度，对多个任务造成相互影响 38 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系

年初开始，他们每个月发布一次 Greenplum 更新，使其保有快速而可靠的创新力。 此次推 出的 Greenplum 5 是一个功能齐全、动态的、创新型分析数据平台，其产品路线图规划健全且充满活力，无论是短期内还 是未来长期时间里，都能满足客户的需求。 支持多种云不受限于基础架构的数据平台 Pivotal Greenplum 5 是首个内核百分百基于 Greenplum Database 开源项目及其相关源代码的版本。这意味着，可以通 Greenplum 代码库的原始 PostgreSQL 规划器的衍 生产品。PostgreSQL 规划器最初是为单节点 PostgreSQL 设计的，更适用于 OLTP 查询，而不是分析数据平台中长时间运 行的查询。尽管具有精心设计的连接排序之类的功能，但架构和设计选项导致维护和添加新功能变得越来越难。1 2010 年底，Greenplum 开始在内部开发一款新型查询优化器，并在 Greenplum 的强大之处在于 能够以并行方式针对提交的 SQL 语句计算大量可能的查询计划。为了生成最快的计划，GPORCA 会计算数千种备选查询 执行计划，并根据成本做出决策。它还能免去不必要的剖析步骤，从而缩短优化时间。与传统查询优化器相比，GPORCA 可以计算更多备选计划，因此能够优化更多查询。3 现代数据分析和商业智能 (BI) 生成的 SQL 查询往往带有相关子查询，内部子查询需要外部查询的相关知识。GPORCA