RDBMSとNoSQLのメリットを併せ持つクラウドネイティブなNewSQLデータベース 「TiDB」をKubernetesで動かしてみよう!
について Open Source Conference 2022 Online/Spring 4 NewSQL製品「TiDB」を主に開発 ワールドワイドにビジネスを展開中 (1600社以上の採用実績) CNCF に「TiKV」及び「Chaos Mesh」を寄与 Open Source Conference 2022 Online/Spring 5 TiKV は CNCF で「Gradu Conference 2022 Online/Spring 10 TiDB の製品・プロジェクト フルマネージドサービス エンタープライズ サブスクリプション ベンダーロックインなし 24時間365日サポート 技術トレーニングとコンサルティング コミュニティエディション Open Source Conference 2022 Online/Spring 11 TiDB の特徴 Open Source Conference 2022 Online/Spring 17 TiDB の特徴 (MySQL Compatible Syntax) MySQL 8.0 互換はもう少し時間がかかりそう・・? Open Source Conference 2022 Online/Spring 18 TiDB の特徴 Horizontal Scalability (水平拡張) MySQL0 码力 | 71 页 | 6.65 MB | 1 年前3TiDB v8.5 中文手册
TiCDC 把数据同步到 Kafka 时,能在 TiDB 中控制单条消息大小的上限吗? · · · · · · · · · · · · · · · 953 7.8.13 在一个事务中对一行进行多次修改,TiCDC 会输出多条行变更事件吗? · · · · · · · · · · · · · · · · 954 7.8.14 TiCDC 把数据同步到 Kafka 时,一条消息中会不会包含多种数据变更? · 保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略,满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 1000 并发,集群容量最大支持 PB 级别。 • 实时 HTAP 场景 TiDB 适用于需要实时处理的大规模数据和高并发场景。TiDB 在 4.0 版本中引入列存储引擎 TiFlash,结合 行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况下,可以在同一个系统中做联机 交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 TiDB0 码力 | 5095 页 | 104.54 MB | 9 月前3TiDB v8.2 中文手册
保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略,满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 1000 并发,集群容量最大支持 PB 级别。 • 实时 HTAP 场景 TiDB 适用于需要实时处理的大规模数据和高并发场景。TiDB 在 4.0 版本中引入列存储引擎 TiFlash,结合 行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况下,可以在同一个系统中做联机 交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 TiDB spill-从-v800-版本开始引入">并行 HashAgg 算法支持数据落盘成为正式功能 (GA)HashAgg 是 TiDB 中常用的聚合算子,用于快速聚合具有相同字段值的行。TiDB v8.0.0 引入并行 �→ HashAgg 作为实验特性,以进一步提升处理速度。当内存资源不足时,并行 HashAgg �→ 可以将临时排序数据落盘,避免因内存使用过度而导致的 OOM 0 码力 | 4987 页 | 102.91 MB | 9 月前3TiDB v5.2 中文手册
保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 TiFlash 结合行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况 下,可以同一个系统中做联机交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 当前绝大部分企业的业务数据都分散在不同的系统中,没有一个统一的汇总,随着业务的发展,企业 的决策层需要了解整个公司的业务状况以便及时做出决策,故需要将分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 _index = 1; 2.5.1.3 测试方案 1. 通过 TiUP 部署 TiDB v5.2.0 和 v5.1.1。 2. 通过 Sysbench 导入 16 张表,每张表有 1000 万行数据。 3. 分别对每个表执行 analyze table 命令。 4. 备份数据,用于不同并发测试前进行数据恢复,以保证每次数据一致。 5. 启动 Sysbench 客户端,进行 point_0 码力 | 2259 页 | 48.16 MB | 1 年前3TiDB v8.4 中文手册
保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略,满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 1000 并发,集群容量最大支持 PB 级别。 • 实时 HTAP 场景 TiDB 适用于需要实时处理的大规模数据和高并发场景。TiDB 在 4.0 版本中引入列存储引擎 TiFlash,结合 行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况下,可以在同一个系统中做联机 交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 TiDB 从 v8.3.0 开始,全局索引作为实验特性正式发布。你可通过关键字 GLOBAL 为分区表显式创建一个全局 索引,从而去除分区表唯一键必须包含分区表达式中用到的所有列的限制,满足灵活的业务需求。同 时基于全局索引也提升了非分区列的查询性能。 在 v8.4.0 中,全局索引成为正式功能 (GA)。你无需再设置系统变量tidb_enable_global_index 开启全局 索引特性,可以直接使用关键字0 码力 | 5072 页 | 104.05 MB | 9 月前3TiDB v8.1 中文手册
保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略,满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 1000 并发,集群容量最大支持 PB 级别。 • 实时 HTAP 场景 TiDB 适用于需要实时处理的大规模数据和高并发场景。TiDB 在 4.0 版本中引入列存储引擎 TiFlash,结合 行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况下,可以在同一个系统中做联机 交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 TiDB 为 (0, 1]。 38 变量名 修改类型 描述 tidb_ �→ enable �→ _dist_ �→ task 修改 默认值 从 OFF 修改为 ON,代 表默认 开启分 布式执 行框架, 从而充 分利用 TiDB 集 群的资 源,大 幅提升 ADD �→ INDEX �→ 和 IMPORT �→ INTO 任务的 性能。如 果要从 低版本 的集群 升级到 v8.1.0 或0 码力 | 4807 页 | 101.31 MB | 1 年前3TiDB v5.4 中文手册
保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 TiFlash 结合行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况 下,可以在同一个系统中做联机交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 当前绝大部分企业的业务数据都分散在不同的系统中,没有一个统一的汇总,随着业务的发展,企业 的决策层需要了解整个公司的业务状况以便及时做出决策,故需要将分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 当列数据中有零时,禁止列从整型类型转成时间类型 #25728 • 修复插入浮点值时对 Inf 和 NaN 值不报错问题 #30148 • 修复了当 Auto ID 超出范围时,REPLACE 语句更改其他行 ID 值的问题 #30301 2.2.2 新功能 2.2.2.1 SQL • TiDB 从 v5.4.0 起支持 GBK 字符集 在 v5.4.0 前,TiDB 支持 ascii、binary、latin1、utf80 码力 | 2852 页 | 52.59 MB | 1 年前3TiDB v7.6 中文手册
保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略,满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 1000 并发,集群容量最大支持 PB 级别。 • 实时 HTAP 场景 TiDB 适用于需要实时处理的大规模数据和高并发场景。TiDB 在 4.0 版本中引入列存储引擎 TiFlash,结合 行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况下,可以在同一个系统中做联机 交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 TiDB 行数据就会进行一次提交。从 v4.0.0 到 v6.6.0,TiDB 默认在一个事务中提交所有行,但也支持通过设置tidb_dml_batch_size 系统变量实现每固定的行数进行一 次提交。自 v7.0.0 起,tidb_dml_batch_size 对 LOAD DATA 语句不再生效,TiDB 将在一个事务中提交所有行。 从 v7.6.0 开始,`LOAD DATA` 在事务中与其它普通 DML 的处理方式一致,特别是和0 码力 | 4666 页 | 101.24 MB | 1 年前3TiDB v5.3 中文手册
保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 TiFlash 结合行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况 下,可以同一个系统中做联机交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 当前绝大部分企业的业务数据都分散在不同的系统中,没有一个统一的汇总,随着业务的发展,企业 的决策层需要了解整个公司的业务状况以便及时做出决策,故需要将分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 tidb_enable_ �→ pseudo_for �→ _outdated_ �→ stats 新增 此变量用于控制 优化器在一张表 上的统计信息过 期时的行为。默 认值为 ON,当表 数据被修改的行 数大于该表总行 数的 80% (该比 例可通过pseudo �→ -estimate- �→ ratio 配置 项调整)时,优 化器认为该表上 除总行数以外的 统计信息不再可 靠,转而使用 pseudo0 码力 | 2374 页 | 49.52 MB | 1 年前3TiDB v7.1 中文手册
保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略,满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎,TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据,确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器,解决 1000 并发,集群容量最大支持 PB 级别。 • 实时 HTAP 场景 TiDB 适用于需要实时处理的大规模数据和高并发场景。TiDB 在 4.0 版本中引入列存储引擎 TiFlash,结合 行存储引擎 TiKV 构建真正的 HTAP 数据库,在增加少量存储成本的情况下,可以在同一个系统中做联机 交易处理、实时数据分析,极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 TiDB 该功能提升了对多值列进行成员检查的效率。行级 TTL(从 �→ v7.0.0 开始 GA) 支持通过后台任务自动删除超过生命周期 (Time to live) 的数据, �→ 并以此来自动管理数据规模并提高性能。 0 码力 | 4369 页 | 98.92 MB | 1 年前3
共 20 条
- 1
- 2