·Bitmap 索引 ·Hadoop 外部表 ·Gptext 全文检索 ·并行查询计划优化器和 Orca 优化器 ·Primary/Mirror 镜像保护机制 ·资源队列管理 ·WEB/Brower 监控 Big Date2.indd 7 16-11-22 下午3:38 8 3. Greenplum 的艺术 -- Parallel Everything 前 面 介 绍 了 Greenplum 性能反而下降，就是因为新采购的机器 RAID 卡没有 cache。 Big Date2.indd 26 16-11-22 下午3:38 Greenplum 精粹文集 27 ·加强硬件的监控，所有故障中，最怕硬件半死不活的状态，曾遇到 一客户，由于硬盘发生坏道，但 RAID 卡并未将其标记为 down，导 致坏盘在读写性能非常差的情况下仍然对外提供服务，最终将整个 集群拖慢。 ·如果客户的实际应用还存在大量较高并发的小 SuSe，Greenplum 都可以畅快的运行，你甚至可以在 自己的 MAC 笔记本上直接安装、玩耍；但 Greenplum 确实依赖于 底层的硬件：只有合理的硬件搭配、准确的规划实施、定期的运行 维护加上完善的软硬件监控，才是真正保证企业级数据仓库成功实 施关键。 Big Date2.indd 28 16-11-22 下午3:38 Greenplum 精粹文集 29 四、Greenplum 实施经验谈

vacuum，例如设置定时作业，每周对所有系统表vacuum analyze一次 • 查询视图GP_TOOLKIT.GP_BLOAT_DIAG可监控垃圾空间的膨胀系数 • REINDEX:回收索引的垃圾空间 AGE监控和管理  PostgreSQL的MVCC事务语意依赖于比较事务ID(XID)的数值： 一条带有大于当前事务的XID的插入 XID的行版本是―属于未来的‖， FrozenXID总是被认为比任何普通 的XID旧。  GPDB中关闭了Autovacuum（GPDB 4.2.6 UPPER）  Age的监控：  xid_warn_limit:500000000（5亿）,AGE大于5亿自动告警  xid_stop_limit: 1000000000， AGE大于10亿停止工作，等待vacuum执行 数据库对象数上限的最佳实践 对于大数据类系统，应避免使用PK,UI,FK,唯一性约束或参考性检查将导致性能大幅下降； • 大数量更新时，应先删除索引，更新/加载数据后再重建索引，或者采用分区交换降低对目标表的影响 临时空间的监控和管理  临时空间被无限制使用，可能导致系统空间撑爆，为了避免这种情况，建议设置以下参数 – gp_workfile_compress_algorithm zlib，设

支持触发器捕获技术作为补充 基于数据库事务日志的变化数据捕获 9 • 避免人为错误 • 在迁移结束前校验数据 • 支持异构 异构平台间数据校验域修复 10 内置监控与报警 • 实时监控HVR进程 • 自动告警 • 与第三方企业监控平台集成 • 丰富的统计报表 LDAP authenticated user; if that’s not configured just OS 对于增量备份可以支持准实时的同步也可以支持延时同步 ➢ 同步软件不会对源库造成负载上升的问题 ➢ 同步中断后能够记录中断点，在下次同步时可以自动从中断点开始继续同步数据 ➢ 能够提供对同步组件的监控 ➢ 操作简单，运维效率高 参考：https://mp.weixin.qq.com/s/zgCfcbMKOJRYROdxjW6RNA 15 Compare Products 参考：https://mp

....................................................................................... - 18 - 管理与监控................................................................................................... .......................................................................................... - 57 - 监控资源组状态 ............................................................................................. ......................................................................................... - 379 - 监控与维护 ...............................................................................................

升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 ○ 容器外部存储关联性 容器化分布式应用程序公共问题 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 故障检测及恢复 ○ 升级扩容 ● 容器化Greenplum存储管理 ○ 容器本地存储易失性 ○ 容器外部存储关联性 Kubernetes 容器网络管理 容器资源管理 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 Kubernetes 101 Kubernetes 101 Master组件 Node组件 Kubernetes存储资源 PV ● PersistentVolume 无需Segment Rebalance ● Node失效 ○ Node节点上Master/Segment节点自动修复 Kubernetes 生态集成 ● 日志收集 ○ Fluentd ● 监控及Metrics收集 ○ Prometheus ● 可视化 ○ Grafana ● …... 总结 Greenplum → Kubernetes Native Database

参数调整 （操作系统参数，greenplum集群参数） 24 Greenplum运维体系 系统状态监控 - gpcc -公司IDC_01机房 25 Greenplum运维体系 系统状态监控 - gpcc -公司IDC_02 机房 26 Greenplum运维体系 系统状态监控 - gpcc -公司IDC_03机房 27 Greenplum运维体系 数据库备份 • 配置与结构备份

为该用户放开部分superuser的权限 查看其它用户数据 查看所有连接信息 杀连接 创建和删除插件 2016Postgres中国用户大会 解决OOM问题 实例的OOM有时很频繁，同时OOM很难提前监控 我们的办法 利用外部脚本监控cgroup中的内存统计 发生内存水位较高时，将实例移入公共 cgroup；同时发出cancel query信号给内核 水位下降时移回实例的cgroup 2016Postgres中国用户大会

Languages/Container Confidential │ ©2022 VMware, Inc. 19 GPCC Greenplum Command Center Ø Web UI 监控和管理 Ø 实时性能监控 Ø 可视化计划 Ø 基于规则的任务管理 Ø 向客户推荐性能优化操作 Ø 报警和通知 Confidential │ ©2022 VMware, Inc. 20 Greenplum

PIVOTAL GREENPLUM 5：新一代数据平台 在 Greenplum 5 中，Workload Manager 的功能有所增强，提高了规则创建的可自定义程度，并改进了监控查询活动及其 所用资源的方式。它可在查询运行过程中监控并检测内存、CPU 和磁盘 I/O 偏差。随后，Workload Manager 会在查询使 用的某项资源超过已定义阈值时记录日志，并可根据规则定义在必要时终止超过规定资源限额的查询。规则可按一天中的

⼀、创建数据仓库 ⼆、连接数据仓库 操作指南 操作指南 关闭数据仓库 启动数据仓库 重启数据仓库 查看数据仓库详情 扩容数据仓库 更改数据仓库密码 续费 删除数据仓库 查看操作⽇志 查看监控 ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 2/206 50 50 71 73 73 73 74 74 74 UCloud 优刻得 45/206 查看操作⽇志 查看操作⽇志 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 46/206 查看监控 查看监控 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 47/206 操作指南 Greenplum数据仓库 UDW Copyright