Greenplum 精粹文集
26 Master 节点推荐采用硬件规格如下:两块万兆网卡(一般多为单网卡 双网口)用于内部互连,1-2 块千兆网卡用于带外管理和接入客户网 络,内存 DDR4 64GB 以上(推荐 256GB), 硬盘 6 块(600GB 或 900GB 10K RPMSAS 盘,采用 RAID5 或者 RAID10,需要预留单独 的 hotspare 盘),CPU 2 路 8 核及以上(主频 2.5G HZ 以上),1 Segment 节点推荐采用硬件规格如下:两块万兆网卡(一般多为单网 卡双网口)用于内部互连,1-2 块千兆网卡用于带外管理和接入客户 网络,内存 DDR4 64GB 以上(推荐 256GB), 硬盘 24 块(600GB 或 900GB 10K RPM SAS 盘,采用 RAID5 或者 RAID10,需要预留单 独的 hotspare 盘),CPU 2 路 8 核及以上(主频 2.5GHZ RAID 卡(单块 RAID 卡的 cache 大小 1GB 以上,并带有掉电保护 功能,RAID 卡应为多通道,目前接触的硬件厂商中,单通道支持的最 大磁盘数为 16 块) ·硬盘尽量选 用 SAS 盘,从实践经验看,硬盘故障是 Greenplum 集群中最为常见的故障类型,而 SAS 盘相比 SATA 盘在性能和稳定 性上都明显的高于 SATA 盘 。 ·RAID 卡一定要带 cache,否则做完0 码力 | 64 页 | 2.73 MB | 1 年前3Pivotal Greenplum 最佳实践分享
Greenplum运维常用命令 Greenplum日常检查和故障处理 Greenplum项目经验分享 Admin常用命令 数据库启动:gpstart 常用可选参数:-a:直接启动,不提示终端使用者输入确 -m:只启动master实例,主要在故障处理时使用 -R:进入限制模式,只有超级用户能访问,常用于系统维护 数据库停止:gpstop: all_hosts--通过SC[同时拷贝文件到多个节点 – Ex: gpscp -f host_file installer.tar =:/ gpcheckperf--检查网络和硬盘性能(/etc/ssh/sshd_config#MaxStartups 10:30:100) – 检查Disk性能: gpcheckperf -f hosts-setup -d /data1 xlog日志等,需要说明的是,未得到support同意,不要用pg_resetxlog去修復xlog,否则可能导致数据不一致; 故障机器隔离 当发现有机器本身有故障,例如经常性自动重启、硬盘问题时,可以将机器进行隔离(关闭),Primary将自动切换到Mirror节点; Vacuum系统表,修改错误page 如果系统表有故障,或者发现对系统表的操作(select count(*)from0 码力 | 41 页 | 1.42 MB | 1 年前3Greenplum 分布式数据库内核揭秘
©2021 VMware, Inc. 13 Greenplum 支持多态存储,即单张用户表,可以根据访问模式的不同而使用不同的存储方式存储 不同的分区。例如根据数据的新、旧程度决定将数据存储至本地硬盘还是以外部表的方式存储在 HDFS 或者是 S3 中。Greenplum 提供以下存储方式: l 堆表 (Heap Table):默认存储方式,同时也是 PostgreSQL 的默认存储方式。支持高效的更新 VMware, Inc. 25 Greenplum,或者说 PostgreSQL 是进程模型,而不是类似于 MySQL 的线程模型。 主进程 postmaster 是整个数据库实例的总控进程,负责启动和关闭数据库实例。当客户端和 Coordinator 建立连接时,postmaster 会 fork 出一个子进程来为该连接提供服务。 Coordinator 节点上负责处理用户查询请求的进程称为0 码力 | 31 页 | 3.95 MB | 1 年前3Greenplum Database 管理员指南 6.2.1
............................. - 290 - 第十三章:启动与停止 GP 数据库 ....................................................................................... - 291 - 启动 GP 数据库 .................................... 系统表了(这个的确是一个让人很头疼的设计)。 在未启用 Mirror 的情况下,任何的 Primary 失败都会导致 GP 数据库自动停止 服务。必须恢复所有导致 Primary 失败的故障,才能重新启动 GP 数据库集群。 Master 镜像 如同 Primary 需要 Mirror 一样,可以在另一台主机上为 Master 部署一个备份 /镜像,按照惯例将其称为 Standby。在 Master 以 Master 的角色恢复 回来,这是一个复杂的问题,需要在确保风险可控的前提下进行操作,建议联系专业技 术支持,因为激活了 Standy 之后,缺省情况下,旧的 Master 将无法启动。 由于 Master 不存储业务数据,在 Master 和 Standby 之间仅仅是系统表的数据 需要被同步。这些表的数据量与用户的业务表相比,很小,而且较少发生变化,一旦发 Greenplum0 码力 | 416 页 | 6.08 MB | 1 年前3深度揭秘Greenplum开源数据库透明加密
用户数据存在直接暴露的风险 • 非部门员工运维(原厂,主机厂或者合作伙伴) • 事后审计难度很大 • 服务器数据被盗(托管或云部署) 用户的问题 现有解决方案 基于操作的系统的硬盘加密 • 只能防范服务器硬盘被盗 • 对运维安全无能为力 基于pgcypto的加密 • 可以满足数据安全要求 • 非原生方案 • 问题很多 基于pgcypto的数据加密方案 pgcypto Pos0 码力 | 48 页 | 10.19 MB | 1 年前3Greenplum 新一代数据管理和数据分析解决方案
X4500两台,每台含2路dual-core CPU 共4core, 16GB;SUN X4200一台,2路dual-core CPU 共4core,8GB – 存储平台:每台X4500中各48块500GB硬盘,共96 * 500GB – 网络平台:每台X4500和X4200上各有4块千兆网卡 – 软件平台:Solaris 10 + GreenPlum v3.1 Beta – 应用软件:SQL语句 快速的找到相近产品 • Existing Solution • Oracle • Facts • 6台华为-赛门铁克T3500服务搭建数据库阵列 • 每台T3500服务器可以自带24TB硬盘 • 每台服务器含有两个四核的CPU(8 Intel X5560) • 每台机器含有32GB内存 • 每台机器配置6个千兆网口 • Raid10 • Solaris 10 网站日志 交易数据0 码力 | 45 页 | 2.07 MB | 1 年前3Greenplum 编译安装和调试
Greenplum" SEG_PREFIX=gpseg PORT_BASE=40000 # 根据需要,修改下面的路径和主机名 # 有几个DATA_DIRECTORY, 每个节点上便会启动几个segments declare -a DATA_DIRECTORY=(/path/to/your/data /path/to/your/data) --backend_output=/data/master/gpseg-1.initdb 2.2.4 master 起不来 使用下面命令,手动启动master观看日志是否有问题。下面使用 Utility 模式启动master ,仅仅仅仅允许utility 模式连接。 $ postgres -D /data/master/gpseg-1 -i -p -M master -b 1 -C -1 -z 0 -m 2.2.5 启动Segment出错 如果启动 segment 时出错,并且看不到具体错误信息(通常由于错误信息被重定向到 /dev/null 了),则可以尝试手动启动 segment。 手动启动segment的命令参加下面,需要根据自己的环境修改某些路径或者参数: export LD_L0 码力 | 15 页 | 2.07 MB | 1 年前3Greenplum数据仓库UDW - UCloud中立云计算服务商
⽬录 ⽬录 ⽬录 ⽬录 概览 概览 产品架构 产品架构 云数据仓库产品架构 ⾼可⽤ 快速上⼿ 快速上⼿ ⼀、创建数据仓库 ⼆、连接数据仓库 操作指南 操作指南 关闭数据仓库 启动数据仓库 重启数据仓库 查看数据仓库详情 扩容数据仓库 更改数据仓库密码 续费 删除数据仓库 查看操作⽇志 查看监控 ⽬录 Greenplum数据仓库 UDW Copyright 当数据仓库创建成功之后处于运⾏状态,可以在数据仓库列表⻚中关闭数据仓库。 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 38/206 启动数据仓库 启动数据仓库 参⻅关闭数据仓库 重启数据仓库 重启数据仓库 参⻅关闭数据仓库 查看数据仓库详情 查看数据仓库详情 点击“管理数据仓库”进⼊⼆级⻚⾯。 操作指南 Greenplum数据仓库 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 39/206 该⻚⾯上可以看到数据仓库的详细信息,包括db信息以及节点信息。在这个⻚⾯上也可以启动、停⽌或重启数据仓库。点击数据仓库名称右边的“更改”,可更改当前数据仓库名称。 扩容数据仓库 扩容数据仓库 操作指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得0 码力 | 206 页 | 5.35 MB | 1 年前3完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum
容器化部署、运维,提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案:iSulad+shimv2+StratoVirt 安全容器方案,相比传统 docker+qemu 方案,底噪和启动时间 优化 40%。 • 双平面部署工具 eqqo:ARM/X86 双平面混合集群 0S 高效一键式安装,百节点部署时间<15min。 3. 探索场景创新 边缘计算:发布面向边缘计算场景的版本 白皮书 8 白皮书 | 8 • 嵌入式:发布面向嵌入式领域的版本 openEuler 21.09 Embedded,镜像大小<5M,启动时间<5S。 4. 繁荣社区生态 友好卓面环境:UKUDDEXfce 卓面环境,丰富社区卓面环境生态。 • 欧拉 DevKit:支持操作系统迁移、兼容性评估、简化安全配置 secPaver Azure 和 Google 云平台上运行,也可以运行在国内云平台上,如阿里云、 腾讯云等,只需选择要在群集中调配的数据节点数量(不超过预定义的最大大小),然后选择一系列部署选项,群集 便会立即启动运行,可供客户使用,国内外有相当数量的客户已选择云上 Greenplum。 图 2:Greenplum 不受限于基础架构的软件架构 完全兼容欧拉开源操作系统的 HTAP 数据平台0 码力 | 17 页 | 2.04 MB | 1 年前3Greenplum分布式事务和两阶段提交协议
* from pg_locks,会观察到,这个事务申请的RowExclusive锁还在pg_lock里, 31 在PG里,执行完PREPARE语句之后,此时把数据库停掉(或者杀掉所有数据库进程)再启动起来,会发 现pg_locks里,prepared事务所申请的还在pg_lock表里。 问题2: 既然pg_locks是一个内存的数据结构,记录各个backend进程申请的锁,那数据库重启后,为什 么已经prepared事务申请的锁仍在pg_lock表呢? prepared事务的恢复过程: 当执行prepare时候,PG会把该事务的lock信息当做prepare日志记录的一部分记录在日志文件(xlog)里。当数 据库重新启动,会读这个日志文件(xlog)这条日志记录,把锁“还原”到pg_lock表里。 1. StartupXlog函数发现XLOG_XACT_PREPARE日志记录进行redo,调用函数recreateTwoPhaseFile将 Greenplum在PG的基础上实现 Greenplum复用PG的实现 33 分布式事务信息在QD和QE之间的同步 MyTmGxact: TMGXACT 分布式事务结构体 • 分布式事务id • 分布式事务管理器启动的时间戳 • 活跃分布式事务中最小的事务id,分布式快照 • session id 34 Greenplum的两阶段提交函数调用关系 35 ● 事务的实现原理和Write Ahead Log(WAL)0 码力 | 42 页 | 2.12 MB | 1 年前3
共 12 条
- 1
- 2