2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick 空闲group配额会被抢占 – 精确控制 2017 年象行中国（杭州 站）第一期 Resource Group • Memory – Not using CGroups – 重构resource queue内存管理 – 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection 2017 年象行中国（杭州 站）第一期 Resource

Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群： Greenplum 做各种补丁 脚本，也看到了 Greenplum 的大幅进步，甚至我们以前的小技巧也不再需要，持续的 进步，带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 2 - 序言 术语约定 GP ： Greenplum 数据库 Master 陈淼 电邮： miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 3 - 目录 Greenplum Database 管理员指南 ...................................................

NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.0 NetBackup™ for SQLite 管理指南 上次更新时间： 2022-05-10 法律声明 Copyright © 2022 Veritas Technologies LLC. © 2022 年 Veritas Technologies LLC 版权所 有。All rights 的信息，请访问我们的网 站： https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息： https://my.veritas.com 如果您对现有支持协议有疑问，请通过以下方式联系您所在地区的支持协议管理部门： CustomerCare@veritas.com 全球（日本除外） CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站，提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品，SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具，请参见数据表： https://sort.veritas

NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间： 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights 的信息，请访问我们的网 站： https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息： https://my.veritas.com 如果您对现有支持协议有疑问，请通过以下方式联系您所在地区的支持协议管理部门： CustomerCare@veritas.com 全球（日本除外） CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站，提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品，SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具，请参见数据表： https://sort.veritas

1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司，在数据处理和 BI/DW领域，提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥，加利福尼亚州，美国，成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站： www.greenplum 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 1995 2000 2005 2010 新一代数据库的要求 传统数据库的要求 今天的数据库供应商 网络运算的发展速度已经超过了主流数据库 • 海量规模 • 高性价比 • 高效率 数据库管理系统（DBMS）的 规模/容量 11 需要采用一种新的方法 •“一切皆可商用”：商业即用型x86 服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum

Postgresql 数 据库实例同时开展并行计算。而且，这些 Postgresql 之间采用 share- nothing 无共享架构，从而更将这种并行计算能力发挥到极致，除此之 外，MPP 采用两阶段提交和全局事务管理机制来保证集群上分布式事 务的一致性，Greenplum 像 Postgresql 一样满足关系型数据库的包括 ACID 在内的所有特征。 从上图可以看到，Greenplum 的最小并行单元不是节点层级，而是在 IO 能力。 Greenplum 单个节点上运行能力比其它数据库也快很多，如果运行在 多节点上，其提供性能几乎是线性的增长，这样一个集群提供的性能 能够很轻易的达到传统数据库的数百倍甚至数千倍，所管理数据存储 规模达到 100TB~ 数 PB，而你在硬件上的投入，仅仅是数台一般的 X86 服务器和普通的万兆交换机。 Big Date2.indd 6 16-11-22 还研发了非常多的高级数据分析管理功能和企业级管理模 块，如下这些功能都是 Postgresql 没有提供的： ·外部表并行数据加载 ·可更新数据压缩表 ·行、列混合存储 ·数据表多级分区 ·Bitmap 索引 ·Hadoop 外部表 ·Gptext 全文检索 ·并行查询计划优化器和 Orca 优化器 ·Primary/Mirror 镜像保护机制 ·资源队列管理 ·WEB/Brower

3 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 无中心化架构， 适用 于 Java 开发的高性能的轻量级 OLTP 应用； ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，适用于 OLAP 应用以及对分片数据库 进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy，并采用 G_HOME%/lib 目录。 2.3.3 3. 启动服务 sh %SHARDINGSPHERE_SCALING_HOME%/bin/start.sh 2.3.4 4. 任务管理 通过相应的 HTTP 接口管理迁移任务。 详情参见使用手册。 2.3. ShardingSphere-Scaling(Alpha) 7 3 概念 & 功能 本章节阐述 Apache ShardingSphere

3 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.5 5. 相关文档 . . . 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy，并采用 %SHARDINGSPHERE_PROXY_HOME%/lib 目录。 2.3.3 3. 启动服务 sh %SHARDINGSPHERE_PROXY_HOME%/bin/start.sh 2.3.4 4. 任务管理 通过相应的 DistSQL 接口管理迁移任务。 详情请参见使用手册。 2.3.5 5. 相关文档 • 功能 # 弹性伸缩：核心概念、使用规范 • 用户手册 # 弹性伸缩：运行部署、使用手册 • RAL# 弹性伸缩：弹性伸缩的

JDBC 规范的数 据库。 • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 • 开放生态 通过多层次 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy，并采用 决方案。 3.1.2 挑战 虽然数据分片解决了性能、可用性以及单点备份恢复等问题，但分布式的架构在获得了收益的同时，也 引入了新的问题。 面对如此散乱的分片之后的数据，应用开发工程师和数据库管理员对数据库的操作变得异常繁重就是其 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确

2.6 可选插件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376 9.2.7 会话管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378 相关操作 . . . . . ShardingSphere document • 业务零侵入 面对数据库替换场景，ShardingSphere 可满足业务无需改造，实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下，对 DBA 学习、管理成本低，交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力，兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力，可满足业务多变的需求。 • 开放生态 通过多层次 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy，并采用