Greenplum备份恢复浅析 姓名：张文杰 邮箱：zhuodao.zwj@alibaba-inc.com 公司：阿里云 2017 年象行中国（杭州 站）第一期 Greenplum数据备份恢复： 1. 数据量较大 2. 不能完全使用Xlog日志备份 3. 需要保证数据完整性和一致性 2017 年象行中国（杭州 站）第一期 Greenplum提供了： 1. 非并行备份和恢复： --pg --pg_dump和pg_dumpall（pg_restore） --copy、psql 2. 并行备份和恢复 --gpcrondump（gpdbrestore） 2017 年象行中国（杭州 站）第一期 并⾏备份和恢复 gpcrondump gpdbrestore 2017 年象行中国（杭州 站）第一期 gpcrondump⽤法(1/3) gpcrondump -x database_name 来指定唯一时间戳来标示某个备份集 文件，其中如果当前备份目录中存在更未来的备份集，则备份报错。 gpcrondump命令使用-t 或者--table-file，-T或者--exclusive-table-file，-s或 者--schema-file，-S或者--exclusive-schema-file灵活指定需要全量备份的某 个table或者某个schema，其中-s和-t选项不能同时使用

............................................................................ - 15 - Instance 故障切换与恢复 .................................................................................... - 17 - Master .......................... - 309 - 6 版本故障切换的恢复过程 .................................................................................. - 311 - 6 之前版本故障切换的恢复过程 .......................................... ................ - 317 - 恢复 Instance ............................................................................................................. - 317 - 主机健康时从 Mirror 恢复 ..........................

Instance) – preferred_role：实例原本应作为primary还是mirror运行 – role：实例目前作为primary或者mirror在运行  查看实例宕机历史和恢复历史信息  select * from gp_configuration_history order by 1 ;  查看Tablespace对应的文件系统位置 select Greenplum日常检查和故障处理  Greenplum项目经验分享 个性化备份恢复 备份恢复命令  备份文件gz压缩  按表备份 – 每个表每个实例备单个文件  将分区表分别备成单独文件  缺省备份目录在db_dumps下建立日期路径，与缺省备份一致；也可指定备份路径  按照模式、表清单备份、可排除部分表、可排除全部外部表的Error表  有详细日志、自劢生成成功失败清单、可断点续跑[到表级] 有详细日志、自劢生成成功失败清单、可断点续跑[到表级]  可指定条件筛选数据进行备份  单个失败不影响整个备份任务  可增量备份-识别AO的方式与gpcrondump一致，同时支持heap表的增备(是否发生过变化)  可指定并发数(同时多张表备份)，可指定编码Encoding  乐观锁设计——单表尝试加锁失败即认为该表本次备份失败  命令简单易用——单命令无需部署，参数基本保持与gp

管理集群 • 数据备份恢复 运行模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 管理模式 GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 GPDB为单独数据库软件 • 非一体机 • 缺少对硬件和系统的控制 潜在风险（一） GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 需要登录到系统进行运维 • 可以访问数据库二进制文件 • 可以访问数据库数据文件 • 可以访问预写日志文件 潜在风险（二） GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 运维模式 • 原厂服务，主机厂或者第三方运维 数据文件为明文二进制文件 • 直接通过Linux自带工具（strings, hexdump）访问 • pg_waldump可以直接读取并显示预写日志 潜在风险（三） GPDB的数据安全 数据需要加密 • 机密数据 • 知识产权保护 • 审计要求

功能设计的方方 面面： 外部表数据加载是并行的、 查询计划执行是并行的、索 引的建立和使用是并行的， 统计信息收集是并行的、表 关联（包括其中的重分布或 广播及关联计算）是并行的，排序和分组聚合都是并行的，备份恢复 也是并行的，甚而数据库启停和元数据检查等维护工具也按照并行方 式来设计。得益于这种无所不在的并行，Greenplum 在数据加载和数 据计算中表现出强悍的性能，某行业客户对此深有体会 : 同样 2TB 某金融客户的测试结果，比 HIVE 高 8 倍左右），因此可以考虑在项 目中同时部署 MPP 数据库和 Hadoop，MPP 用于交互式高性能分析， Hadoop 用于数据 Staging、MPP 的数据备份或一些 ETL batch 的数据 清洗任务，两者相辅相成，在各自最擅长的场景中发挥其特性和优势。 Big Date2.indd 18 16-11-22 下午3:38 Greenplum 开放性的特性给客户带来的好处，不只是硬件厂商和型号的选择范围， 也包含工程实施过程的便利性。2014 年，该客户大数据平台需要进行 数据搬迁，Greenplum 采用了旧环境数据备份、传输、新环境恢复的 方案，停机时间实际只花了不到 4 天。 相比较而言，其他封闭式系统，需要压缩并备份数据，倒腾出整套设 备搬迁到新数据中心，然后再导入新数据，影响或暂停业务几十天。 两种方案从工程复杂度、人力投入、业务影响来说，开放式架构所带 来的便利和优势体现的淋漓尽致。

库仍然可以继续工作。但由于segment的primary与 mirror端的数据不同步了，所以恢复的时候需要花比较 长的时间。对于Greenplum 3.X的版本，恢复时，需要 把好的节点上的所有数据都copy到坏的机器上。而 Greenplum4.0版本增加了功能，当备份节点坏的时 候，主节点可以把增量数据记下来，这样当备份节点的 主机恢复时，只需要恢复增量数据就可以了。 要让原先已offline的节点再加入集群中，需要重启集 的primary与 mirror之间是做的逻辑同步，mirror端的数据库实际上 也是可以读写的。而Greenplum4.0版本后，primary与 mirror实际上是物理同步，这时mirror一直处于恢复状 态，不能读也不能写。 高可用之Master Mirroring 对于Greenplum Master的primary与mirror之间的同步 就是使用PostgreSQL的日志同步方案。master的

Compute Node 中任⼀ Segment 都会有⼀个 Mirror Segment 备份到其他的 Compute Node 上，当 Primary Segment 出现不可⽤的时候会⾃动切换到 Mirror Segment， 当 Primary Segment 恢复之后，Primary Segment 会⾃动恢复这期间的变更。 2. Master 节点是主从模式，当 Active Master 把数据分为⼏个均等的部分：通过⼀个分区标准把⼀个⼤表的数据划分为均等的分区，这样可以等倍的提⾼查询性能。 使⽤分区的时候请避免建⽴过多的分区，创建过多的分区可能会影响管理和维护作业，例如： 清理⼯作，节点恢复，集群扩展，查看磁盘使⽤情况等。 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 92/206 6.1 创建分区表 创建分区表 ..] ) ] 命令: EXPLAIN 描述: 显⽰语句的执⾏规划 语法: EXPLAIN [ ANALYZE ] [ VERBOSE ] 语句 命令: FETCH 描述: 恢复来⾃⼀个使⽤游标查询的⾏ 开发指南 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 120/206 语法: FETCH [ direction

40 Pivotal Confidential–Inter nal Use Only 内存资源管理 41 Pivotal Confidential–Inter nal Use Only 备份恢复和并行copy Ÿ 重构gpbackup/gprestore – 不再锁pg_class表 – 普通表只加ACCESS SHARE锁 Ÿ 并行copy – COPY TO

0 码力 | 44 页 | 8.35 MB | 1 年前

3

并行不悖- OLAP 在互联网公司的实践与思考

27 Greenplum运维体系 数据库备份 • 配置与结构备份 Ø 多机房级联备份 Ø Greenplum在本机进行第一次备份 Ø 备份通过rsync传输到同机房ETL服务器 Ø 各机房ETL服务器在备份到备份服务器 • 结果数据备份 Ø Greenplum集群与postgresql集市备份 Ø 结果数据csv文件备份 Ø 结果数据到备份postgresql实例 28 Greenplum运维体系 考虑过去的问题，为现在的决策提供参考和依据 • 定位与整合 Ø 公司内网GP小数据量计算，GP加载csv数据，GP大数据量统计 Ø 年表与实例无关，可以形成一个整体的大的Greenplum平台 Ø 网络互通，数据互通，相互备份 • 细节的深化 Ø 在现有OLAP三部分进行细化 Ø 对数据集市本身进行细化 43 THANK YOU

0 码力 | 43 页 | 9.66 MB | 1 年前

3

Pivotal HVR meetup 20190816

com/s/zgCfcbMKOJRYROdxjW6RNA 14 Compare Products 需求：利用GP自建数据仓库面临的数据集成问题 ➢ 支持MySQL的全量以及增量备份 ➢ 支持Oracle的全量以及增量备份 ➢ 支持SQL Server的全量同步 ➢ 对于增量备份可以支持准实时的同步也可以支持延时同步 ➢ 同步软件不会对源库造成负载上升的问题 ➢ 同步中断后能够记录中断点，在下次同步时可以自动从中断点开始继续同步数据

0 码力 | 31 页 | 2.19 MB | 1 年前

3

共 17 条

• 1
• 2

前往

页

相关搜索词

Greenplum备份恢复浅析Database管理管理员指南Pivotal最佳实践分享深度揭秘开源数据据库数据库透明加密精粹文集介绍仓库数据仓库UDWUCloud中立计算服务服务商架构分析功能并行并行不悖OLAP互联联网互联网公司思考HVRmeetup20190816