才是计算和加载发生的场所（当然， 在 HA 方面，Greenplum 提供 Standby Master 机制进行保证）。 再进一步看，Master-Slave 架构在业界的大数据分布式计算和云计 算体系中被广泛应用，大家可以看到，现在主流分布式系统都是采 用 Master-Slave 架 构， 包 括：Hadoop FS、Hbase、MapReduce、 Storm、Mesos...... 无一例外都是 Master-Slave 在国内某大型金融机构的大数据处理平台，使用 Greenplum 数据库产 品支撑其 ODS 及各类集市应用。项目从 2013 年 6 月份开始到 2015 年底，生产环境已经由最初的一套集群发展到 10 多套， 装机数量也 从最初的 50 台发展到现在的数百台。短短两年半时间， 服务器数量、 集群数量、支撑的应用数量都飞速增长。 Big Date2.indd 20 16-11-22 下午3:38 易扩展等方面的卓越表现是分不开的 。 1. 高吞吐 该客户大数据平台的 ODS 区，接入了源端近百个业务系统的生产数据， 每天需要加载进来的数据大概 5TB 左右。标准化处理完成后，需要给 后端的公共访问、类别繁多的沙箱类应用供数。 每月月初，业务繁忙时段，保守估计平均每天需要给下游系统提供 10TB 的压缩数据。如此大规模数据处理，加上严格的数据时效性要求， 不选择 Greenplum 这种吞吐性能特别优秀的产品，很难满足业务部门

析数据平台 Greenplum，用实践证明了 Greenplum 与支持多样性计算的欧拉开源操作系统完全兼容，是 Greenplum 与中国本地 IT 厂商的深入合作的典型模板，大大丰富了中国本地国产化应用生态。本白皮书着眼介绍了欧拉开源操作系 统平台架构、创新性及核心特点， 同时介绍了 Greenplum 作为一款深受技术爱好者喜爱的、中立的纯开源软件，践行 “Run Everywhere”原则 欧拉开源操作系统是一款面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多 样性计算，致力于提供安全、稳定、易用的操作系统。 Greenplum 与欧拉开源社区强强联手，不仅是双方业务用户所期盼的，同时也是 Greenplum 社区与对中国本地开源社 区的深入合作尝试。本次合作对双方打造丰富应用生态注入了鲜活动力！ 完全兼容欧拉开源操作系统的 HTAP 器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应用 提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 openEuler

.................... - 39 - 支持的客户端应用 ............................................................................................................ - 39 - GP 的客户端应用程序 ................................. ....................................................................................... - 41 - DB 应用程序接口 .............................................................................................. GP 是基于 PostgreSQL 发展而来，用户端可以如同访问 PostgreSQL 那样与 GP 进行交互。可以通过 PostgreSQL 客户端程序(如 psql、pgAdminIII)和应用程序 接口(APIs(如 JDBC、ODBC))连接 GP。不过，GP 在 5 版本和 6 版本中，因为 PostgreSQL 版本的不断合并，有不少系统表的发生了变化，所以，原有适用的客户 端，可能需要一定的适配开发工作，才能适用新的

网络平台：千兆网络 – 软件平台：RedHat linux + mysql – 应用软件：基于Apache的PHP程序 • 现有运行现状 – 随着数据量的不断增长，应用在现有平台上的运行效率极度恶化。 – 实际运行采样，9月份月度数据处理时，该应用耗时42小时；经过两个月 的数据累加，到11月份月度数据处理时，该应用耗时达到65小时。 • 测试运行平台 – 服务器平台：SUN X4500两台，每台含2路dual-core 存储平台：每台X4500中各48块500GB硬盘，共96 * 500GB – 网络平台：每台X4500和X4200上各有4块千兆网卡 – 软件平台：Solaris 10 ＋ GreenPlum v3.1 Beta – 应用软件：SQL语句 • 数据导入测试 – A - 67858566 rows – B - 80088742 rows – C - 372844366 rows – D - 75042462 rows 分钟。 – 客户投产环境：针对表C的一个子表（记录数约为C表的1/10） 进行全表扫 描，历时超过20分钟。 结论：如果采用DWA替代现有环境，获得超过120倍的性能提升。 • 真实应用测试 – DWA测试结果：完成应用的全过程仅耗时48分钟。 – 客户投产环境：客户11月份月度处理时，完成本项任务需要65小时。 结论：如果采用DWA替代现有环境，获得超过80倍的性能提升。 案例分享：阿里巴巴

支持（B-tree、Bitmap） 不支持 2016Postgres中国用户大会 推荐应用架构 应用服务器 ECS VPC ApsaraDB for GP 主节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 应用服务器 应用服务器 阿里云服务 阿里云CDP服务 应用服务器 Tableau 应用服务器 2016Postgres中国用户大会 ApsaraDB for

执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 数据、元数据、索引 日志页 读、写页 元数据、 统计数据 元数据 9 存储介质的类型 ■ Volatile storage 易失性存储器 DRAM, update PostgreSQL和Greenplum采用的策略 思考： 1. MySQL同样采用MVCC，事务恢复的时候为什么需要undo log？ 2. 出现新硬件（NVRAM）并不断得到广泛应用，WAL是否适合新硬件特点？ （业内的探索：CMU, VLDB 2016, Write-Behind Logging） 20 Version Storage MySQL、Oracle PostgreSQL 于保证分布式事务提交的原子性 ● 可以用于单机集中式系统，由事务管理器协调多个资源管理器；也可以用于分布式系 统，由一个全局的 事务管理器协调各个子系统的局部事务管理器完成两阶段提交 ● 广泛应用于商业分布式数据库 ❏ A节点是事务的协调者（coordinator） ❏ B和C是事务的参与者（participant） 24 两阶段提交与日志操作 写日志 写日志

0 码力 | 42 页 | 2.12 MB | 1 年前

3

博文 · 资料 · 文档 · 项目 Greenplum内核揭秘之排序算法 5 ● 内排序算法 ● 外排序算法 ● Greenplum TupleSort ● 排序在Greenplum中的应用 Outline 6 ● 冒泡排序 ● 插入排序 ● 快速排序 ● 堆排序 ● 基数排序 内排序算法 7 快速排序是最常用的排序算法，由Tony Hoare在1959年发明。 快速排序算法的三个步骤： Aggregation ● Merge Join ● Distinct Aggregation ● Sorted Motion 排序在Greenplum中的应用 43 ● Greenplum的聚集节点使用两种聚集方式：哈希聚集和分组聚集。 ● 分组聚集应用了排序的思想，如果数据基于分组键有序，那么聚集可以拆解为 若干个朴素聚集的组合。 ● SELECT avg(score) FROM student student GROUP BY grade; 分组聚集 44 ● Greenplum连接算法包括：嵌套循环连接，哈希连接和归并连接。 ● 归并连接同样应用了排序的思想，如果数据基于排序键有序，那么两个表的连 接可以通过归并的方式，仅遍历一次数据，就完成连接操作。 ● SELECT * FROM student, class_enroll where student.id = class_enroll

大幅度地提高了查询性能。 Pivotal Greenplum 5：新一代数据平台 作为重要的新版本，Pivotal Greenplum 5 带来了多项产品改进和新增功能，在管理数据和对数据库中存储的信息应用数据 科学、分析、报告和数据洞察方法方面，这些功能对大多数客户都很有帮助。Greenplum 解决方案的架构设计目的是管理 非常复杂的查询，以及为符合 ANSI 标准的 SQL 提供强有力的分析改进 GREENPLUM 平台 原生接口 分析应用 用户 JDBC、OBBC Teradata SQL Apache MADlib Python. R、 Java、Perl、C Apache SOLR PostGIS ANSI SQL 其他数据库 SQL ML/统计数据/图形 程序化 文本 地理空间 公有云 私有云 完全 托管云 本地 BI / 报告 自定义应用 机器学习 AI SQL 大规模 并行处理 Inc.保留所有权利。 PIVOTAL GREENPLUM 5：新一代数据平台 集成分析：改进后的全新分析接口 一直以来，客户都能在 Pivotal Greenplum 中做高级分析，无论是提供将应用逻辑向下推送至数据所在位置的方法，执行 分析功能，还是以大规模并行方式构建数据模型，都可以实现。Greenplum 5 支持适用于数据挖掘和数据科学工作的最全面、 最先进的分析程序包和扩展。 Greenplum

Segment部署策略 ● 容器化Greenplum运维管理 ○ 故障检测及恢复 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 ○ 容器外部存储关联性 容器化分布式应用程序公共问题 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 通过PVC申请PV存储资源 ● StatefulSet ○ Pod网络地址不变 ○ Pod与PV映射关系不变 Kubernetes 网络资源 Service ● Service ○ 定义统一网络地址 ○ 分布式应用程序路由映射 ○ 负载均衡器 Greenplum on Kubernetes Network Interconnect Standby Pod Master Pod Segment Pod StatefulSet/Pod弹性扩展计算资源 ● 数据库服务层 ○ Service统一Master & Standby Master地址 ● 服务发现机制 ○ 所有节点地址名不变 ● 跨云能力 ○ 容器应用对基础设施透明 Greenplum Operator Kubernetes Operator ● 自定义资源类型 ○ Custom Resource Definition (CRD) ○ 和内置资源用法一致

gp_resqueue_status 观察到队列的使用情况，逐步调整参数到最优状态。 角色组和权限管理  在GPDB中，对象权限不能从Schema继承，新增的对象需要Grant授权给相应用户。  用户可以属于多个角色组role，用户可以从role继承权限  建议在系统建设时，按照功能、权限划分为较为固定的数个角色组，新增对象时只要把权限Grant到 相应角色组 Admin常用命令  查看数据库、表占用空间 – select pg_size_pretty(pg_relation_size(‗schema.tablename‘));(注：对于分区表的，不能直接应用于父表) – select pg_size_pretty(pg_database_size('databasename)); 注：必须在数据库所对应的存储系统里，保留30%作为临时空间 v1使用omreport工具来检查，DCAv2采用CmdTool2 或MegaCli 问题定位方法 现象-系统突然运行缓慢 对于此类问题，问题原因可能是多方面的，定位比较困难，首先需要判断是硬件原因导致还是应用本身的原因导致，是某一SQL导致还是整体运 行变慢，找到具体的原因后，才能确定应对措施  检查當前所有设备IO,CPU使用情況： – CPU是否繁忙(gpssh –f allhosts