TiDB中文技术文档
“2016-10-08 16:45:26.999”,一般来说可以只写到秒,比如”2016-10-08 16:45:26”。 当这个变量被设置时,TiDB 会用这个时间戳建立 Snapshot(没有开销,只是创建数据结构),随后所有的 Select 操作都会在这个 Snapshot 上读取数据。 注意 TiDB 的事务是通过 PD 进行全局授时,所以存储的数据版本也是以 PD 所授时间戳作为版本号。在生成 Snapshot write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ... )会读取数据然后在内存中生成对应的数据结构返回给 TiDB,这个过程中 TiKV 会占用一部分内存 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB 的机器上 2. 如果对写入吞吐要求比较高,建议使用吞吐能力比较好的磁盘 2.0 2018 年 4 月 27 日,TiDB 发布 2.0 GA 版。相比 1.0 版本,该版本对 MySQL 兼容性、系统稳定性、优化 器和执行器做了很多改进。 SQL 优化器 精简统计信息数据结构,减小内存占用 加快进程启动时加载统计信息速度 支持统计信息动态更新 [experimental] 优化代价模型,对代价估算更精准 使用 Count-Min Sketch 更精确地估算点查的代价0 码力 | 444 页 | 4.89 MB | 5 月前3TiDB v5.2 中文手册
write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 9.2.1.3.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB Version 1 中因为哈希冲突导致的在较大的数据量中可能产生的较大误差,并保持 了大多数场景中的估算精度。 本文接下来将简单介绍其中出现的直方图和 Count-Min Sketch 以及 Top-N 这些数据结构,以及详细介绍统计信 息的收集和维护。 直方图简介 直方图是一种对数据分布情况进行描述的工具,它会按照数据的值大小进行分桶,并用一些简单的数据来描 述每个桶,比如落在桶里的值的个数。在 TiDB Sketch 473 Count-Min Sketch 是一种哈希结构,当查询中出现诸如 a = 1 或者 IN 查询(如 a in (1, 2, 3))这样的等值查 询时,TiDB 便会使用这个数据结构来进行估算。 由于 Count-Min Sketch 是一个哈希结构,就有出现哈希碰撞的可能。当在 EXPLAIN 语句中发现等值查询的估算 偏离实际值较大时,就可以认为是一个比较大的值和一个比0 码力 | 2259 页 | 48.16 MB | 1 年前3TiDB v5.1 中文手册
write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 9.2.1.3.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB Version 1 中因为哈希冲突导致的在较大的数据量中可能产生的较大误差,并保持 了大多数场景中的估算精度。 本文接下来将简单介绍其中出现的直方图和 Count-Min Sketch 以及 Top-N 这些数据结构,以及详细介绍统计信 息的收集和维护。 直方图简介 直方图是一种对数据分布情况进行描述的工具,它会按照数据的值大小进行分桶,并用一些简单的数据来描 述每个桶,比如落在桶里的值的个数。在 TiDB Count-Min Sketch Count-Min Sketch 是一种哈希结构,当查询中出现诸如 a = 1 或者 IN 查询(如 a in (1, 2, 3))这样的等值查 询时,TiDB 便会使用这个数据结构来进行估算。 由于 Count-Min Sketch 是一个哈希结构,就有出现哈希碰撞的可能。当在 EXPLAIN 语句中发现等值查询的估算 偏离实际值较大时,就可以认为是一个比较大的值和一个比0 码力 | 2189 页 | 47.96 MB | 1 年前3TiDB v5.4 中文手册
write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 9.2.1.3.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB Version 1 中因为哈希冲突导致的在较大的数据量中可能产生的较大误差,并保持 了大多数场景中的估算精度。 本文接下来将简单介绍其中出现的直方图和 Count-Min Sketch 以及 Top-N 这些数据结构,以及详细介绍统计信 息的收集和维护。 直方图简介 直方图是一种对数据分布情况进行描述的工具,它会按照数据的值大小进行分桶,并用一些简单的数据来描 述每个桶,比如落在桶里的值的个数。在 TiDB Count-Min Sketch Count-Min Sketch 是一种哈希结构,当查询中出现诸如 a = 1 或者 IN 查询(如 a in (1, 2, 3))这样的等值查 询时,TiDB 便会使用这个数据结构来进行估算。 563 由于 Count-Min Sketch 是一个哈希结构,就有出现哈希碰撞的可能。当在 EXPLAIN 语句中发现等值查询的估算 偏离实际值较大时,就可以认为是一个比较大的0 码力 | 2852 页 | 52.59 MB | 1 年前3TiDB v5.3 中文手册
write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 9.2.1.3.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB Version 1 中因为哈希冲突导致的在较大的数据量中可能产生的较大误差,并保持 了大多数场景中的估算精度。 本文接下来将简单介绍其中出现的直方图和 Count-Min Sketch 以及 Top-N 这些数据结构,以及详细介绍统计信 息的收集和维护。 直方图简介 直方图是一种对数据分布情况进行描述的工具,它会按照数据的值大小进行分桶,并用一些简单的数据来描 述每个桶,比如落在桶里的值的个数。在 TiDB Count-Min Sketch Count-Min Sketch 是一种哈希结构,当查询中出现诸如 a = 1 或者 IN 查询(如 a in (1, 2, 3))这样的等值查 询时,TiDB 便会使用这个数据结构来进行估算。 493 由于 Count-Min Sketch 是一个哈希结构,就有出现哈希碰撞的可能。当在 EXPLAIN 语句中发现等值查询的估算 偏离实际值较大时,就可以认为是一个比较大的0 码力 | 2374 页 | 49.52 MB | 1 年前3TiDB v6.1 中文手册
量的操作,如 AutoMigrate、基本对象的 CRUD 等,极大的简 化了代码量。 Player 是数据结构体,为数据库表在程序内的映射。Player 的每个属性都对应着 player 表的一个字段。相较 于 go-sql-driver/mysql,gorm 的 Player 数据结构体为了给 gorm 提供更多的信息,加入了形如 `gorm:"primaryKey �→ ;type:VAR write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 11.2.0.4.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB Version 1 中因为哈希冲突导致的在较大的数据量中可能产生的较大误差,并保持 了大多数场景中的估算精度。 本文接下来将简单介绍其中出现的直方图和 Count-Min Sketch 以及 Top-N 这些数据结构,以及详细介绍统计信 息的收集和维护。 直方图简介 直方图是一种对数据分布情况进行描述的工具,它会按照数据的值大小进行分桶,并用一些简单的数据来描 述每个桶,比如落在桶里的值的个数。在 TiDB0 码力 | 3572 页 | 84.36 MB | 1 年前3TiDB v8.2 中文手册
语句添加了多个常用参数选项,例如 CHECKSUM_CONCURRENCY #53040 @RidRisR * 去掉除了 br log restore 子命令之外其它 br log 子命令对 TiDB domain 数据结构的载入,降低 内存消耗 #52088 @Leavrth * 支持对日志备份过程中生成的临时文件进行加密 #15083 @YuJuncen * 在 Grafana 面板中新增 tikv_log_ write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 11.2.0.4.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB 用直方图估算等值查询或 IN 查询的谓词。 Count-Min Sketch 是一种哈希结构,当处理等值查询(如 a = 1)或者 IN 查询(如 a in (1, 2, 3))时,TiDB 便 会使用这种数据结构来进行估算。 由于 Count-Min Sketch 是一个哈希结构,就有出现哈希冲突的可能。当在 EXPLAIN 语句中发现等值查询的估算 偏离实际值较大时,就可以认为是一个比较大的值和一个比0 码力 | 4987 页 | 102.91 MB | 9 月前3TiDB v8.5 中文手册
1:9092/topic-name?kafka-version=2.4.0&protocol=debezium" Debezium 输出格式中包含当前行的 Schema 信息,以便下游消费者更好地理解当前行的数据结构。对于不需要 输出 Schema 信息的场景,也可以通过在 changefeed 的配置文件或者 sink-uri 中将 debezium-disable-schema 参数设置为 true 来关闭 write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 11.2.0.4.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GiB 用直方图估算等值查询或 IN 查询的谓词。 Count-Min Sketch 是一种哈希结构,当处理等值查询(如 a = 1)或者 IN 查询(如 a in (1, 2, 3))时,TiDB 便 会使用这种数据结构来进行估算。 由于 Count-Min Sketch 是一个哈希结构,就有出现哈希冲突的可能。当在 EXPLAIN 语句中发现等值查询的估算 偏离实际值较大时,就可以认为是一个比较大的值和一个比0 码力 | 5095 页 | 104.54 MB | 9 月前3TiDB v8.4 中文手册
write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 11.2.0.4.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GiB 用直方图估算等值查询或 IN 查询的谓词。 Count-Min Sketch 是一种哈希结构,当处理等值查询(如 a = 1)或者 IN 查询(如 a in (1, 2, 3))时,TiDB 便 会使用这种数据结构来进行估算。 由于 Count-Min Sketch 是一个哈希结构,就有出现哈希冲突的可能。当在 EXPLAIN 语句中发现等值查询的估算 偏离实际值较大时,就可以认为是一个比较大的值和一个比 16:45:26.999”,一般来说可以只写到秒,比如”2016-10-08 16:45:26”。 • 当这个变量被设置时,TiDB 会按照设置的时间戳建立 Snapshot(没有开销,只是创建数据结构),随后 所有的 SELECT 操作都会从这个 Snapshot 上读取数据。 注意: TiDB 的事务是通过 PD 进行全局授时,所以存储的数据版本也是以 PD 所授时间戳作为版本 号。在生成0 码力 | 5072 页 | 104.05 MB | 9 月前3TiDB v8.0 中文手册
write-buffer 会占用系统内存外: 1. 需预留一些内存作为系统的 page cache 2. TiKV 在处理大的查询的时候(例如 select * from ...)会读取数据然后在内存中生成对应的数据结构 返回给 TiDB,这个过程中 TiKV 会占用一部分内存 11.2.0.4.3 TiKV 机器配置推荐 1. 生产环境中,不建议将 TiKV 部署在 CPU 核数小于 8 或内存低于 32GB ${TiDB_IP} -u user -P ${TIDB_PORT} ... < '/tmp/sql.txt'; 本文接下来将简单介绍其中出现的直方图和 Count-Min Sketch 以及 Top-N 这些数据结构,以及详细介绍统计信 息的收集和维护。 直方图简介 直方图是一种对数据分布情况进行描述的工具,它会按照数据的值大小进行分桶,并用一些简单的数据来描 述每个桶,比如落在桶里的值的个数。在 TiDB Count-Min Sketch Count-Min Sketch 是一种哈希结构,当查询中出现诸如 a = 1 或者 IN 查询(如 a in (1, 2, 3))这样的等值查 询时,TiDB 便会使用这个数据结构来进行估算。 由于 Count-Min Sketch 是一个哈希结构,就有出现哈希碰撞的可能。当在 EXPLAIN 语句中发现等值查询的估算 偏离实际值较大时,就可以认为是一个比较大的值和一个比0 码力 | 4805 页 | 101.28 MB | 1 年前3
共 15 条
- 1
- 2