2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – Resource Queue • Memory – Chaotic – 没有严格资源隔离 – 第三方库的malloc 2017 年象行中国（杭州 站）第一期 Resource Group • SQL语句并发控制 => 事务并发控制 • 基于cost的并发控制 • 基于优先级的CPU控制 => 精确CPU比例 • 内存控制 => 严格资源隔离 2017 年象行中国（杭州 站）第一期 Running Example

Java 任意 任意 性能 损耗低 损耗略高 损耗低 无中心化 是 否 是 静态入口 无 有 无 1.1.4 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 ShardingSphere‐Proxy 的优势在于对异构语言的支持，以及为 DBA 提供可操作入口。 3.1.3 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 语言，提供了标准 SQL 之外的 增量功能操作能力。 3.3.2 挑战 灵活的规则配置和资源管控能力是 Apache ShardingSphere 的特点之一。在使用 ShardingSphere‐Proxy 时，开发者虽然可以像使用数据库一样操作数据，但却需要通过 YAML 文件（或注册中心）配置资源和 规则。然而，YAML 格式的展现形式，以及注册中心动态修改带来的操作习惯变更，对于运维工程师并不

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 7.8.19 [DistSQL] 使用 DistSQL 删除资源时，出现 Resource [xxx] is still used by [SingleTableRule]。 . . . . . . . . . . . . . . . . . . . . . Java 任意 任意 性能 损耗低 损耗略高 损耗低 无中心化 是 否 是 静态入口 无 有 无 1.1.4 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 ShardingSphere‐Proxy 的优势在于对异构语言的支持，以及为 DBA 提供可操作入口。 3.1.3 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 x 7.8.19 [DistSQL] 使用 DistSQL 删除资源时，出现 Resource [xxx] is still used by [SingleTableRule]。 . . . . . . . . . . . . . . . . . . . . . Java 任意 任意 性能 损耗低 损耗略高 损耗低 无中心化 是 否 是 静态入口 无 有 无 1.1.4 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 ShardingSphere‐Proxy 的优势在于对异构语言的支持，以及为 DBA 提供可操作入口。 3.1.3 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320 7.8.19 [DistSQL] 使用 DistSQL 删除资源时，出现 Resource [xxx] is still used by [SingleTableRule]。 . . . . . . . . . . . . . . . . . . . . . Java 任意 任意 性能 损耗低 损耗略高 损耗低 无中心化 是 否 是 静态入口 无 有 无 1.1.4 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。 com/apache/shardingsphere/tree/master/shardingsphere‐proxy 3.1.3 混合架构 ShardingSphere‐JDBC 采用无中心化架构，与应用程序共享资源，适用于 Java 开发的高性能的轻量级 OLTP 应用；ShardingSphere‐Proxy 提供静态入口以及异构语言的支持，独立于应用程序部署，适用于 OLAP 应用以及对分片数据库进行管理和运维的场景。

⻩健宏/著 关于本⽂档 本⽂档为《Redis使⽤⼿册》⼀书的试读版本，由 RedisGuide.com 免费提供。 因为本⽂档为书本原稿的未编辑未排版版本，所以本⽂档和正式出版的图书在内容和编排上将会稍有不同，具体的 细节以正式出版的图书为准。 《Redis使⽤⼿册》预计将于 2019 年 9 ⽉下旬正式开始发售， 届时你将能够在 RedisGuide.com 购买到本书的 完整版本。 欢迎来到本书的第⼀章。 在这⼀章， 我们⾸先会了解到⼀些关于 Redis 的基本信息， ⽐如它提供了什么功能、 它能做什么、它的优点是什么、有哪些公司使⽤它等等。 之后我们会快速地了解本书各个章节的具体编排， 并完成⼀些学习 Redis 的前期准备⼯作， ⽐如安装 Redis 服 务器等等。 在⼀切准备就绪之后， 我们就会开始学习如何执⾏ Redis 命令， 以及如何通过配置选项对 Redis 服 务器进⾏配置。 都提 供了基于 Redis 或兼容 Redis 的服务， 如果你不打算⾃⼰搭建 Redis 服务器， 那么上述的这些提供商可能 是⼀个不错的选择。 图 1-1 Redis 特⾊⼀览 1.2 内容编排 本书由数据结构与应⽤、附加功能和多机功能三个部分共⼆⼗章组成。 在数据结构与应⽤部分， 书本介绍了 Redis 核⼼的九种数据结构， 列举了操作这些数据结构的众多命令及其详细 信息， 并在其中穿插介绍了多个使⽤

线程池去并发执行。它更关注平衡数据源连接创建以及内存占用所产生的消耗，以及最大限度地合理利 用并发等问题。执行引擎的目标是自动化的平衡资源控制与执行效率。 连接模式 从资源控制的角度看，业务方访问数据库的连接数量应当有所限制。它能够有效地防止某一业务操作过 多的占用资源，从而将数据库连接的资源耗尽，以致于影响其他业务的正常访问。特别是在一个数据库实 例中存在较多分表的情况下，一条不包含分片键的逻辑 SQL 将产生落在同库不同表的大量真实 将产生落在同库不同表的大量真实 SQL ，如 果每条真实 SQL 都占用一个独立的连接，那么一次查询无疑将会占用过多的资源。 从执行效率的角度看，为每个分片查询维持一个独立的数据库连接，可以更加有效的利用多线程来提升 执行效率。为每个数据库连接开启独立的线程，可以将 I/O 所产生的消耗并行处理。为每个分片维持一个 独立的数据库连接，还能够避免过早的将查询结果数据加载至内存。独立的数据库连接，能够持有查询 的节省内存资源，进而减少垃圾回收的频次。当无法保证每个分片查询持有一个独立数据库连接时，则 3.1. 数据分片 37 Apache ShardingSphere document, v5.0.0-beta 需要在复用该数据库连接获取下一张分表的查询结果集之前，将当前的查询结果集全数加载至内存。因 此，即使可以采用流式归并，在此场景下也将退化为内存归并。 一方面是对数据库连接资源的控制保护

物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. controller Operator 是什么 • Kubernetes 中一切都可视为资源 • 默认资源类型：如 Pod、Service、Volume 等 • Kubernetes 1.7 之后增加了 CRD 自定义资源 • 二次开发扩展 Kubernetes API CRD 的基本原理 ① 观察资源的当前状态 ② 分析当前状态与期望状态的差别 ③ 调用 API 消除差别 TestCluster Spec：配置 & 期望状态 • Status：当前状态 MySQL 配置 • 版本 • 端口 • 存储信息 • 配置文件 集群配置 • 副本数 • 高可用模式 K8s 调度信息 • 资源套餐 • 亲和性信息 • NodeSelector 使用 CRD 2. client-go 配套工具 apiVersion: apiextensions.k8s.io/v1beta1 kind:

珠海、北京、武汉 3 研发中心 36 个 分支机构 4 多名员工 下属公司 14 年+ 14 上市 千+ 大 家 用优质的产品和服务 推动企业管理和社会进步 产品服务 l 集团资源管理 l 资产全寿命周期管理 l 集团风险管控 l 企业大数据及商业智能 l 企业云服务 l 智能机器人应用 l 集团IT治理 l …… l 能源产业链 l 区域能源管理 l 能源大数据 九三学社 珠海特区报 三峡电能 秦山核电 香港医思医疗 国家能源集团 安徽皖能 南方电网 金川集团 金晶集团 中航集团 比亚迪股份 互联数据资源、为组织数字资产管理运营、数据探索、分析赋能！ 数据汇聚 专业的数据资源管理 自助分析 价值挖掘 多维探索 灵活 快速 自助 洞察 预警 消息 交互 Agenda. 数据分区 01 / 一级索引&二级索引 02 / 数据存储 合并MarkRange区间 索引的查询过程 二级索引 跳数索引 目前，MergeTree共支持4种跳数索引，分别是minmax、set和ngrambf_v1和tokenbf_v1。 数据存储 按列存储，精心编排，错落有致 压缩数据块，就好比是一本书的文字段落，是组织文字的基本单元。 压缩数据块 头信息固定使用9位字节表示，具体 由1个UInt8(1字节)整型和2个 UInt32(4字节)整型组成 。

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 903 10.3.4 定位消耗系统资源多的查询· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 910 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 915 10.4 支持资源 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 TiDB Operator 可在公有云、私有云、混合云中实现部署工具化、自 动化。 • 兼容 MySQL 5.7 协议和