Greenplum备份恢复浅析 姓名：张文杰 邮箱：zhuodao.zwj@alibaba-inc.com 公司：阿里云 2017 年象行中国（杭州 站）第一期 Greenplum数据备份恢复： 1. 数据量较大 2. 不能完全使用Xlog日志备份 3. 需要保证数据完整性和一致性 2017 年象行中国（杭州 站）第一期 Greenplum提供了： 1. 非并行备份和恢复： --pg_ --pg_dump和pg_dumpall（pg_restore） --copy、psql 2. 并行备份和恢复 --gpcrondump（gpdbrestore） 2017 年象行中国（杭州 站）第一期 并⾏备份和恢复 gpcrondump gpdbrestore 2017 年象行中国（杭州 站）第一期 gpcrondump⽤法(1/3) gpcrondump -x database_name xxx_gp_dump_0_2_20170206160253.gz 其中XXX表示用户定义的文件前缀，0代表是非master节点，2代表该文件产生的 segment对应dbid，20170206160253是前面所说的时间戳。在恢复时，会根据这 个命名规则，找到对应的文件。 2017 年象行中国（杭州 站）第一期 gpcrondump具体实现(1/2) 2017 年象行中国（杭州 站）第一期 gpcrondump具体实现(2/2)

微信 SQLite 数据库 损坏恢复实践 johnwhe (何俊伟) ◊ 问题背景 ◊ 常规做法 ◊ 数据备份 ◊ Repair Kit ◊ 组合方案 SQLite 恢复 ◊ 微信聊天记录只存客户端 ◊ SQLCipher 加密数据库 问题背景 ◊ SQLite 概率性损坏 ◊ 1/20,000 ~ 1/10,000 ◊ 256MB ~1%，1GB ~1‰ ◊ 设备断电、kernel ◊ 数据备份 ◊ Repair Kit ◊ 组合方案 SQLite 恢复 ◊ .dump 命令 ◊ 来自 SQLite 命令行工具 ◊ 整个 DB 输出为 SQL 语句 常规做法 .dump 输出 ◊ 打开损坏 DB 后使用 ◊ 遇到错误前一直输出 ◊ 遇到错误，跳到下一个表 .dump 用于恢复 ◊ 成功率仅 ~30% ◊ 打不开 DB ◊ 打开了读不出数据 .dump 组合方案 SQLite 恢复 ◊ 主要考虑因素 ◊ 恢复成功率 ◊ 空间大小 ◊ 性能 ◊ 加密 数据备份 备选方案 方案 优点 缺点 文件复制 + 压缩 实现简单 非原子操作 Backup API 热备份 稍慢 .dump （SELECT 输出） 有选择备份 备选方案 测试： ~50MB，10W 条目，加密 DB .dump： 先压缩后加密 → 压缩率高 48 48 6

MySQL 数据库架构 灾难恢复解决方案 MySQL InnoDBClusterSet 介绍 MySQL SE 罗伟文 2 / 55 Safe Harbor Statement 以下内容旨在概述我们的一般产品方向。它仅供参考，不得纳入任何合同。它并不提供任何材料、代码或功能的承诺，不应据此做出购买决策。 Oracle 产品描述的任何特性或功能的开发、发布和时间安排仍由 Oracle 自行决定。 2021 Oracle and/or its affiliates. 6 / 55 7 / 55 "过去" - 手动 • 设置复制拓扑通常是手动完成的，需要执行许多步骤 包括用户管理、恢复备份、配置复制... • MySQL 只提供技术部分，让用户来设置（始终自定义 的）架构。 • 甚至需要其他软件... 为DBA 和专家带来了大量工作，他 们花时间自动化和集成他们的定制架构 一个或者多个MySQL InnoDB Cluster 副本连接到一个主MySQL InnoDB Cluster 高可用 (区域内的失败) RPO =0 RTO =秒级 (自动故障转移) 灾难恢复（ 区域故障） RPO !=0 RTO =分钟或更长时间（ 手动故障转移） 无写入性能影响 特点 • 简单易用 • 熟悉的界面和可用性 mysqlsh,CLONE,... • 在线添加/删除节点/集群

1.2.2 深度学习 2006 年，Geoffrey Hinton 等人发现通过逐层预训练的方式可以较好地训练多层神经网 络，并在 MNIST 手写数字图片数据集上取得了优于 SVM 的错误率，开启了第三次人工智 能的复兴。在论文中，Geoffrey Hinton 首次提出了 Deep Learning 的概念，这也是(深层)神 经网络被叫作深度学习的由来。2011 年，Xavier Glorot 技术来防止过拟合，同时抛弃了逐层预训练的方式，直接在两块 NVIDIA GTX580 GPU 上训练网络。AlexNet 在 ILSVRC-2012 图片识别比赛中获得了第一名的成绩，比第二 名在 Top-5 错误率上降低了惊人的 10.9%。 自 AlexNet 模型提出后，各种各样的算法模型相继被发表，其中有 VGG 系列、 GoogLeNet 系列、ResNet 系列、DenseNet 系列等。ResNet ILSVRC10 ILSVRC11 ILSVRC12 ILSVRC13 ILSVRC14 ILSVRC14 ILSVRC15 ILSVRC挑战赛ImageNet数据集分类任务 网络模型层数 Top-5错误率 图 1.13 网络层数变化趋势 1.3.4 通用智能 过去，为了提升某项任务上的算法性能，往往需要利用先验知识手动设计相应的特 预览版202112 第 1 章 人工智能绪论

插件类别列表 ⾼级 命令⾏ 脚本与扩展Blender 应⽤模板 键位映射⾃定义 功能局限 操作项 Blender⽬录布局 附录 问题排查 启动 3D 视图 图形硬件 崩溃 Python错误 恢复数据 兼容性 词汇表 参与 ⼿册主要由志愿者维护，中⽂翻译组QQ群号：620831153，欢迎加⼊。 请考虑参与这份⼯作并 为⼿册出⼒ 。针对中⽂⼿册中的问题，请 点此报错 。 关于Blender ⼤量修复，和⼀些游戏引擎功能。 2.42 -- 2006年7⽉: 节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许多 其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻，多 个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 File） 可以修改 默认启动⽂件。参见 启动⽂件。 加载初始设置 你可以恢复⾃定义设置为Blender默认设置： 偏好设置 偏好设置 可以恢复初始设置。 启动⽂件和偏好设置 ⽂件（File) ‣ 默认(Defaults) ‣ 加载初始设置(Load Factory Settings）。 Note 恢复初始设置后，设置不会⾃动保存。 详情见 管理偏好设置 。 帮助系统 Ble

插件类别列表 ⾼级 命令⾏ 脚本与扩展Blender 应⽤模板 键位映射⾃定义 功能局限 操作项 Blender⽬录布局 附录 问题排查 启动 3D 视图 图形硬件 崩溃 Python错误 恢复数据 兼容性 词汇表 ⼿册索引 参与 ⼿册主要由志愿者维护，中⽂翻译组QQ群号：620831153，欢迎加⼊。 请考虑参与这份⼯作并 为⼿册出⼒ 。针对中⽂⼿册中的问题，请 点此报错 。 关于Blender ⼤量修复，和⼀些游戏引擎功能。 2.42 -- 2006年7⽉: 节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许 多其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻， 多个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 保存了新建⽂件时后默认打开的场景和界⾯设置 ( ⽂件 ‣ 新建 )。 加载初始设置 你可以恢复⾃定义设置为Blender默认设置： 偏好设置 偏好设置 可以恢复初始设置。 启动⽂件和偏好设置 ⽂件（File) ‣ 默认(Defaults) ‣ 加载初始设置(Load Factory Settings）。 Note 恢复初始设置后，设置不会⾃动保存。 详情见 管理偏好设置 。 帮助系统 Ble

插件类别列表 ⾼级 命令⾏ 脚本与扩展Blender 应⽤模板 键位映射⾃定义 功能局限 操作项 Blender⽬录布局 附录 问题排查 启动 3D 视图 图形硬件 崩溃 Python错误 恢复数据 兼容性 词汇表 ⼿册索引 参与 ⼿册主要由志愿者维护，中⽂翻译组QQ群号：620831153，欢迎加⼊。 请考虑参与这份⼯作并 为⼿册出⼒ 。针对中⽂⼿册中的问题，请 点此报错 。 关于Blender ⼤量修复，和⼀些游戏引擎功能。 2.42 -- 2006年7⽉: 节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许多 其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻，多 个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 File） 可以修改 默认启动⽂件。参见 启动⽂件。 加载初始设置 你可以恢复⾃定义设置为Blender默认设置： 偏好设置 偏好设置 可以恢复初始设置。 启动⽂件和偏好设置 ⽂件（File) ‣ 默认(Defaults) ‣ 加载初始设置(Load Factory Settings）。 Note 恢复初始设置后，设置不会⾃动保存。 详情见 管理偏好设置 。 帮助系统 Ble

插件类别列表 ⾼级 命令⾏ 脚本与扩展Blender 应⽤模板 键位映射⾃定义 功能局限 操作项 Blender⽬录布局 附录 问题排查 启动 3D 视图 图形硬件 崩溃 Python错误 恢复数据 兼容性 词汇表 Manual Index 参与 ⼿册主要由志愿者维护，中⽂翻译组QQ群号：620831153，欢迎加⼊。 请考虑参与这份⼯作并 为⼿册出⼒ 。针对中⽂⼿册中的问题，请 点此报错 ⼤量修复，和⼀些游戏引擎功能。 2.42 -- 2006年7⽉: 节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许多 其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻，多 个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 File） 可以修改 默认启动⽂件。参见 启动⽂件。 加载初始设置 你可以恢复⾃定义设置为Blender默认设置： 偏好设置 偏好设置 可以恢复初始设置。 启动⽂件和偏好设置 ⽂件（File) ‣ 默认(Defaults) ‣ 加载初始设置(Load Factory Settings）。 Note 恢复初始设置后，设置不会⾃动保存。 详情见 管理偏好设置 。 帮助系统 Ble

插件类别列表 ⾼级 命令⾏ 脚本与扩展Blender 应⽤模板 键位映射⾃定义 功能局限 操作项 Blender⽬录布局 附录 问题排查 启动 3D 视图 图形硬件 崩溃 Python错误 恢复数据 兼容性 词汇表 参与 ⼿册主要由志愿者维护，中⽂翻译组QQ群号：620831153，欢迎加⼊。 请考虑参与这份⼯作并 为⼿册出⼒ 。针对中⽂⼿册中的问题，请 点此报错 。 关于Blender ⼤量修复，和⼀些游戏引擎功能。 2.42 -- 2006年7⽉: 节点发布、阵列修改器、⽮量模糊、新物理引擎、 渲染、⼜型同步和许多 其他功能。此次发布紧随 橘⼦项⽬。 2.43 -- 2007年2⽉: 多分辨率⽹格、 多层 UV 纹理、 多层图像和多通道渲染和烘焙，雕刻，多 个新增遮⽚，畸变和滤镜节点，建模和动画的改进，更好的多重笔刷绘 制、 流体粒⼦、 代理对象、 序列编辑器的重写，和后期 UV 贴图绘画。 File） 可以修改 默认启动⽂件。参见 启动⽂件。 加载初始设置 你可以恢复⾃定义设置为Blender默认设置： 偏好设置 偏好设置 可以恢复初始设置。 启动⽂件和偏好设置 ⽂件（File) ‣ 默认(Defaults) ‣ 加载初始设置(Load Factory Settings）。 Note 恢复初始设置后，设置不会⾃动保存。 详情见 管理偏好设置 。 帮助系统 Ble