种数据分布策略: l 哈希分布 (Hash Distribution) l 随机分布 (Randomly Distribution) l 复制分布 (Replicated Distribution) 数据分布策略 Confidential │ ©2021 VMware, Inc. 10 哈希分布是分布式数据库最为常用的数据分布方式。根据用户自定义的分布键计算哈希值，然后将 哈希结果映射到某个 Segment 中，默认采用一致性哈希(Jump Consistent Hash)分布策略。 哈希分布 当增加一个新的节点时，需要对原有数据进行重新映射。一致性哈希则保证了在重新映射的过程追 中，tuple 要么保留在原有节点中，要么迁移至新的节点中，从而实现最小数据迁移。 Confidential │ ©2021 VMware, Inc. 11 随机分布则采用随机的方式将数据存储到不同的节点。当不确定一张表的哈希分布键，或者是不存 布键，或者是不存 在合理的避免数据倾斜的分布键时，即可采用随机分布的方式。 随机分布与复制分布 复制分布则表示整张表在每个节点上都有一份完整的拷贝，假设我们有 100 个节点，复制表则会将 数据保存 100 份。复制表可避免生成分布式查询计划，而是生成本地计划，从而避免数据在集群的 不同节点间移动。 Confidential │ ©2021 VMware, Inc. 12 除了支持数据在不同的

图形界⾯的⽅式访问UDW 数据导⼊ 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 从ufile加载数据 开发指南 开发指南 1、连接数据库 2、数据库管理 3、模式管理 4、表格设计 5、加载数据 6、分区表 7、序列 8、索引 9、 ANALYZE/VACUUM 10、常⽤SQL⼤全 139 139 139 141 142 146 152 152 163 177 177 183 190 190 191 192 udw优化指南 表膨胀 表膨胀 表膨胀的原因 如何避免表膨胀 UDW中 中Json类型 类型 Json相关操作 Json操作举例 Json相关函数 Json创建函数 Json处理函数 接⼊第三⽅ 接⼊第三⽅ BI ⼯具 ⼯具 导出数据 使⽤ psql 重建数据 利⽤ 利⽤ hdfs 外部表迁移数据 外部表迁移数据 1. 在原 greenplum 集群中创建 hdfs pxf 可写外部表 2. 将原 greenplum 集群表数据写⼊ hdfs 3. 在⽬的 greenplum 集群中创建 hdfs pxf 可读表 4. 从 hdfs 外部表中读取数据并写⼊⽬的 greenplum 集群 FAQs 创建好数据仓库之后怎么连接到UDW？

. . . . . 46 使用 Spring 命名空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 表结构说明 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 6.1.4 操作 API . 作业启动 将配置 Spring 命名空间的 xml 通过 Spring 启动，作业将自动加载。 表结构说明 事 件 追 踪 的 event_trace_rdb_url 属 性 对 应 库 自 动 创 建 JOB_EXECUTION_LOG 和 JOB_STATUS_TRACE_LOG 两张表以及若干索引。 JOB_EXECUTION_LOG 字段含义 字段名称 字段类型 是否必 填 Apache ShardingSphere ElasticJob document JOB_STATUS_TRACE_LOG 字段含义 JOB_STATUS_TRACE_LOG 记录作业状态变更痕迹表。可通过每次作业运行的 task_id 查询作业状态变化 的生命周期和运行轨迹。 6.1.4 操作 API ElasticJob 提供了 Java API，可以通过直接对注册中心进行操作的方式控制作业在分布式环境下的生命周

过来时几乎没迁移成本。 ○ 目前还有少量函数或功能未 实现 Plan optimization 逻辑优化 ● 主要依据关系代数的等价交 换做一些逻辑变换 物理优化 ● 主要依据数据读取、表连接方式、表连接顺序、排序等技术对查询进行优化。 TP Parse Logical Plan Physical Plan Exec Stat CBO RBO Plan optimization Logical join ● 小表放到内存，等值 key 建立哈希表 ● 大表是用 goroutine 分批取值，匹配哈希表 ● 之后会支持 merge sort join 等常用算法 small table big table build hash table join worker join worker join worker hash table output Online DDL 现状，锁表（有些数据支持读操作，但是也以消耗大量内存为代价） 现状，锁表（有些数据支持读操作，但是也以消耗大量内存为代价） ● 架构师们在设计整个系统的时候都会很慎重的考虑表结构 ● DBA 在做此类操作前要做足准备 TiDB解决方案，参考 Google 动态变更 schema 的论文 absent --> delete only --> write only -- reorg --> public Online DDL ● 一般 DDL 实现 ● 特殊 DDL 实现 ○ drop

Cassandra历史 BigTable Dynamo Cassandra概述 Cassandra最初源自FaceBook，集合了Google BigTable面向列的特 性和Amazon Dynamo分布式哈希(DHT)的P2P特性于一身，具有很高 的性能、可扩展性、容错、部署简单等特点。 Cassandra架构关键字 1.Gossip 点对点通信协议，用于集群之间节点交换位置和状态信息 2.Partitioner Cassandra故障恢复 Partitioner Partitioner定义了数据如何在集群中的节点分布，哪个节点应该存放数据的第一份拷贝。 基本上，Partitioner就是一个计算分区键token的哈希函数。 1.Partition Key 决定数据在Cassandra哪个节点上 2.Clustering Key 用于在各个分区内的排序 3.Primary Key 主键，决定数据行的唯一性 key_part_one也就是partition key 3.key_part_two就是cluster key Cassandra如何根据partition key决定数据落在哪个节点？ 一致性哈希和虚拟节点 一致性哈希和虚拟节点 Replica Strategy Cassandra在多个节点中存放replicas以保证可靠性和容错性。Replica Strategy决定放置replicas的 节点

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 97 3.3.3 创建、查看和删除表· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 255 4.5.3 创建表· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 311 4.7.1 单表查询 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77 3.3.3 创建、查看和删除表· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 235 4.5.3 创建表· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 290 4.7.1 单表查询 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 93 3.3.3 创建、查看和删除表· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 251 4.5.3 创建表· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 307 4.7.1 单表查询 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 71 3.3.3 创建、查看和删除表· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 212 6.6.3 TiFlash 系统表 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 298 8.3.1 集群信息表 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 299 8.3.2 集群监控表 · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 85 3.3.3 创建、查看和删除表· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 145 5.1.3 分库分表 MySQL 合并迁移到 TiDB· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 167 5.3.4 从小数据量分库分表 MySQL 合并迁移数据到 TiDB · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 174 5.3.5 从大数据量分库分表 MySQL 合并迁移数据到 TiDB · · · · · · · · · · · · · · ·