........................................................................................ - 17 - 网络层冗余 ................................................................................................. 编写：陈淼 - 15 - 网络层是 GP 系统的重要组件，在用户执行查询时，每个 Instance 都需要执行相 应的处理，网络层涉及到 Instance 之间的通信和数据传输，网络层可以使用标准的 以太网协议。不要认为网络只是连通作用，请按照 GP 的安装部署要求，必须使用万兆 网络作为内部互联网络，否则，一定会遭受很多网络方面的困扰。 在缺省情况下，网络层使用 UDPIFC 协议。这是经过改善的 协议。 冗余与故障切换 GP 提供了避免单点故障的部署选项。本节讲述 GP 的冗余组件。  Instance 镜像  Master 镜像  网络层冗余 Instance 镜像 在部署 GP 系统时，可以选择配置 Mirror，如果初始化时没有配置 Mirror，后 期也可以再次添加 Mirror，当然，如果要删除已有的

操作系统支持多设备，应用一次开发覆盖全场景。 openEuler 平台架构 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字 基础设施的开源操作系统。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 管理各种规模的数据容量，数据量从数 GB 到数 PB 不等。 Greenplum 环境适用性强与其开放性、真正开源、社区活跃有密不可分的关系，一方面 Greenplum 能够独立于专用 硬件加速提供高性能的纯软件数据平台，无需专用硬件，另外一方面包括核心代码在内的全部开源，社区人员或客户 可最大化自由利用和借鉴 Greenplum 的优秀功能的同时，又可以反哺及影响总体产品研发方向，可以加快产品创新， 白皮书 9 白皮书 | 9 源代码在各种平台进行编译使用。作为能够独立于专用硬件加速提供高性能的纯软件数据平台，Greenplum 可根据 客户需求在任何位置运行。借助这种“不受限于基础架构”的方法，可以在本地不同的操作系统、不同的芯片环境或多 云环境（私有云或公有云）中部署同

统 的线下收车方式正在被快速颠覆——二手车经销商通过天天拍车的在 线竞拍系统，在手机端就能轻松竞拍到全国海量优质车源，收车效率 和运营效率得以提升，这有助于二手车经销商专注于车辆整备和二手 车零售，加速行业专业化分工、实现规模化发展。 同时，天天拍车也正在布局二手车金融、二手车保卖等创新业务。截 至目前，天天拍车已在全国超过50个多城市设立线下交易服务中心。 参考：https://mp.weixin

io/cn 白皮书 5 © Copyright 2017 Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM 5：新一代数据平台 作为能够独立于专用硬件加速提供高性能的纯软件数据平台，Greenplum 可根据客户需求在任何位置运行。借助这种“不 受限于基础架构”的方法，可以在本地或多云环境（私有云或公有云）中部署同一类型的分析数据库。 无论在商业化的

性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 大家都知道 Greenplum 的数据库引擎层是基于著名的开源数据库 Postgresql的（下面会分析为什么采用Postgresql，而不是mysql等等）， 但是 Postgresql 是单实例数据库，怎么能在多个 X86 服务器上运行多 个 SQL-On-Hadoop 系统，例如 HAWQ、SPARK 均可单独增加 计算层的节点或数据层的 HDFS 存储节点，HDFS 数据存储对计算 层来说是透明的； MPP 数据库扩展时，一般情况下是计算节点和数据节点一起增加 的，在增加节点后，需要对数据做重分布才能保证数据与节点的紧 耦合（重新 Hash 数据），进而保证系统的性能；Hadoop 在增加 存储层节点后，虽然也需要 Rebalance 数据，但相较 MPP 6 核以上（主频 2G HZ 以上），1 块 RAID 卡（单块 RAID 卡的 cache 大小 1GB 以上，并带有掉电保护功能 ）。 ·ETL 服务器最好和 Greenplum 接入相同的二层交换机，如果跨交 换机，确保网络不存在性能瓶颈。 ·ETL 服务器网卡尽量选用万兆网卡，某香港航空公司曾抱怨 Greenplum 加载性能缓慢，结果发现加载时把所有 ETL 服务器的 千兆网卡都打满了。

pruning calculating optimizing Data (Encrypted) TDE key GPDB数据透明加解密流程 秘钥管理 GPDB透明加密解析 GPDB TDE 使用三层key结构 • Master key: 加解密 major keys • Major keys: 加解密对应的 object keys • Object keys: 加解密对应的数据文件 秘钥管理 • 加密的major key会被送进KMS中，由master key来解密，KMS只返回解密后的Major key. • 所有的object keys和major keys 存储于数据库本地. 三层key结构 GPDB透明加密解析 Master Key Major Keys Object Keys Encrypted table files Encrypted log files Encrypted

⼯工作原理理 2017.thegiac.com C API (Greenplum, PostgreSQL, HAWQ) 底层抽象层 (数组操作、类型转换、数值计算库等) 数据库内建函 数 ⽤用户接⼝口 ⾼高层抽象层 (迭代控制器器) 内循环函数 (实现机器器学习逻辑) Python SQL C++ MADlib 架构 2017.thegiac

Greenplum on Kubernetes Greenplum on Kubernetes ● 存储计算分离 ○ PV持久化存储资源 ○ StatefulSet/Pod弹性扩展计算资源 ● 数据库服务层 ○ Service统一Master & Standby Master地址 ● 服务发现机制 ○ 所有节点地址名不变 ● 跨云能力 ○ 容器应用对基础设施透明 Greenplum Operator

Ø 列存储表 Ø 多种表类型结合 • 表的命名 Ø GP内所有名称都小写 Ø table_name命名要符合命名规则，做到见名知义 36 Greenplum开发规范 用户与权限规范 • 四层授权保保障 Ø 角色 role ： 管理数据库内对象权限 Ø 用户 user ： 用户认证权限 Ø pg_hba.conf ： 实例权限配置文件 Ø iptables : 防火墙IP访问配置策略 •

Greenplum、PostgreSQL、MySQL 以及 Oracle 等主流数据库均采用拉模型。 拉模型的每个算子都实现了从下层节点获取一条元组的 GetNext 函数，每次调用该函数都会从下 层节点返回一条元组或者 EOF 的 NULL 指针。上层节点不断地调用 GetNext 函数从下层节点获 取数据，直至数据全部获取完毕。 火山模型 postgres=# explain select