Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案？ redis + muliraft 存在的问题？ redis 改造 vs 自己实现? redis 中哈希表实现的优点？ 参考 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： Raft Log：记录 operator log Raft Snapshot：将内存中的数据结构以特定格式 中有许多数据结构可供使用，如 (哈希、列表、set、sort_set)，但对于目前的需求来说，我们内存数据结构使用的是 C++ STL 中的哈希表（unsorted_map），之后有可能根据需求换成 B+ 树或跳表，但是 redis 中的这些数据结构我们是不需要的 另外，如果 C++ 中的哈希表在后期使用中发现性能不达标的话（特别是在 rehash 扩桶的时候），我们可以把 redis 中的哈希表借鉴过来用（redis 中的哈希表借鉴过来用（redis 中的哈希实现很独立，单独的文件 t_hash.c，其性能表现也非常好） redis 哈希表实现主要优点参考以下 总的来说，我们只是参考 redis 持久化实现，而 redis 中的大头（各类数据结构、模块化、主从复制、集群等这些都是我们目前不需要的），因此去改造 redis 感觉不是很划算 redis 中哈希表实现的优点？ 主要是当哈希表需要扩桶的时候，rehash 过程中 redis

中是如何工作的。 整型 整型 是一个没有小数部分的数字。我们在第二章使用过 u32 整数类型。该类型声明表明，它 关联的值应该是一个占据 32 比特位的无符号整数（有符号整数类型以 i 开头而不是 u）。表 格 3-1 展示了 Rust 内建的整数类型。我们可以使用其中的任一个来声明一个整数值的类型。 表格 3-1: Rust 中的整型 长度 有符号 无符号 8-bit i8 u8 43/562Rust 简体中文版 结构体的定义和实例化 结构体和我们在“元组类型”部分论过的元组类似，它们都包含多个相关的值。和元组一样，结 构体的每一部分可以是不同类型。但不同于元组，结构体需要命名各部分数据以便能清楚的表 明其值的意义。由于有了这些名字，结构体比元组更灵活：不需要依赖顺序来指定或访问实例 中的值。 定义结构体，需要使用 struct 关键字并为整个结构体提供一个名字。结构体的名字需要描述 它所组合的 字符串（string）是字符的集合。我们之前见过 String 类型，不过在本章我们将深入了解。 • 哈希 map（hash map）允许我们将值与一个特定的键（key）相关联。这是一个叫做 map 的更通用的数据结构的特定实现。 对于标准库提供的其他类型的集合，请查看文档。 我们将讨论如何创建和更新 vector、字符串和哈希 map，以及它们有什么特别之处。 152/562Rust 程序设计语言 简体中文版

过来时几乎没迁移成本。 ○ 目前还有少量函数或功能未 实现 Plan optimization 逻辑优化 ● 主要依据关系代数的等价交 换做一些逻辑变换 物理优化 ● 主要依据数据读取、表连接方式、表连接顺序、排序等技术对查询进行优化。 TP Parse Logical Plan Physical Plan Exec Stat CBO RBO Plan optimization Logical join ● 小表放到内存，等值 key 建立哈希表 ● 大表是用 goroutine 分批取值，匹配哈希表 ● 之后会支持 merge sort join 等常用算法 small table big table build hash table join worker join worker join worker hash table output Online DDL 现状，锁表（有些数据支持读操作，但是也以消耗大量内存为代价） 现状，锁表（有些数据支持读操作，但是也以消耗大量内存为代价） ● 架构师们在设计整个系统的时候都会很慎重的考虑表结构 ● DBA 在做此类操作前要做足准备 TiDB解决方案，参考 Google 动态变更 schema 的论文 absent --> delete only --> write only -- reorg --> public Online DDL ● 一般 DDL 实现 ● 特殊 DDL 实现 ○ drop

系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 日期和时间类型 基本数据类型 函数和操作符 函数和操作符概述 表达式求值的类型转换 系统变量 TiDB 专用系统变量和语法 TiDB 服务器日志文件 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 数值类型 日期和时间类型 字符串类型 JSON 数据类型 TiDB 中文技术文档 Analytical Processing) 场景提供一站式的解决方案。 TiDB 具备如下核心特性： 高度兼容 MySQL 大多数情况下，无需修改代码即可从 MySQL 轻松迁移至 TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景。 分布式事务 TiDB

一致性协议 如何保证数据不丢？如何保证各种硬件故障的时候读 写都正常？ 可扩展性 —— 和数据分布的方式相关 所用容量都用完后，可以新增机器扩展容量分布式存储的要素 — 数据分布 无中心节点：哈希算法 INPUT (Offset, Len) HASH HASH mod 72 (DiskNums) (0, 4MB) 163342856 2 58 (4MB, 8MB) 759463473 OSD：Object Storage Device, 管理一个磁盘的进程架构简介 — 数据放置 使用多级哈希的方式 使用CRUSH算法根据pgid获得指定的副本个数的id osd.1, osd.2, osd.3 对ObjectID进行哈希并取模（复制组数量）得到pgid head_D35c9011 根据 offset, len, name.. 生成ObjectID

治理策略 & 高可用 • 微服务高可用设计手段 • 负载均衡 • 随机 (Random) • 轮询 (RoundRobin) • 响应时间权重 (WeightedResponseTime) • 环哈希 (Ring Hash) • 实例容错 • Fail-fast • Failover • Failresnd34/总页数 治理策略 & 高可用 – 总结 • 从手段看高可用 • 从架构看高可用

将TCP纳入Service Mesh管控还不成熟，成本远大于收益 Ø Service Mesh应主要关注L7，而不是L4 Shard A Shard B Shard C client 一致性哈希 client client产品化增强-TCP Service的处理 在Service Mesh中 Bypass TCP流量，让TCP请求跳过Service Mesh的处理，缺省发送到原 始请求目的地。

proxy命令处理流程中，watcher.Run会调用agent.ScheduleConfigUpdate，这个方法只是简单地 往configCh里写一个新的配置，所谓的配置是所有certificate算出的sha256哈希值。 2. configCh的这个事件会被agent.Run监控到，然后调用agent.reconcile。 3. reconcile方法会启动协程执行agent.waitForExit从而启动e

全量数据迁移，记录CommitTS数据 添加消费者 查看消费者 删除消费者 修改 Binlog GC 关闭 Binlog 如何使⽤ 如何使⽤TiFlash 简介 步骤⼀ 开启TiFlash 步骤⼆ 按表构建TiFlash副本 步骤三 使⽤TiFlash 备份恢复 备份恢复 设置备份策略 调整⾃动备份策略 ⼿动备份 备份恢复 参数配置 参数配置 进⼊管理⻚⾯ 查看 修改 ⽬录 分布式NewSQL数据库 限制TiKV内存30G 测试⼆ 跨可⽤区类型 同可⽤区类型 FAQ Q1:TiDB当前覆盖多少地域？ Q2：每个⼩时业务要创建⼀些中间表，完成计算，然后删除掉，频繁创建和删除表对TiDB 性能影响⼤吗？ Q3: slow log ⾥⾯的时间是什么时区？ Q4: 对于⼀张⼤表insert into t2 select * from t1; 失败报错 ERROR 2013 (HY000): Lost connection b-mysql5.6.41版本 Q9：在 TiDB 中，表或字段设置为utf8 和 设置为 utf8mb4 的效果是否⼀样 Q10: TiDB 加个联合索引会锁表吗 Q11:TiDB默认时区 Q12:查看TiDB创建索引的过程是否已经结束 Q13：TiDB 最⼤连接数 Q14: SQL执⾏时间突然变⻓ Q15: 如何通过tableID 查找表名 Q16: 如何查看当前版本 ⽬录 分布式NewSQL数据库

核心技术团队均为一线互联网公司基础架构部资深架构师，有技术改变世界的强烈抱负。 2013年以后 2008年至2013年 2008年以前 • 背景：应用最为广泛的数据库；能 很好的解决复杂的数据运算及表 间处理；多用于银行、电信等传 统行业复杂业务逻辑场景中，以 Oracle 为代表 • 挑战：成本高，随着数据量增加， 只能通过购买更贵更好的服务器 ；无法线性扩容，海量数据下处 理能力大幅下降 单机关系型（SQL） 处理框架发表的 三篇论文奠定了大数据分析 处理基石；开源社区 以此为基础打造了Hadoop F1 Data Flow Spanner Colossus Google 内部新一代分布式处理框架，于12/13年发表 相关论文，奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB & TiKV HBase Map Reduce HDFS TiDB TiKV NewSQL | 开源模式保证技术创新、高效和领先性，天然的国际化基因 我们的数据库能解决什么问题 - 1 ● 无限线性水平扩展（Scale Out） 无论多大的数据量，都可以轻松通过增加节点来解决，写入和读取时延固定（毫 秒级别），无需分库分表或者搭建复杂的 Hadoop 集群，完整的 MySQL 兼容接 口轻松处理高并发实时写入、实时查询和分析，极大的简化程序设计、应用维护 ，轻松应对大数据存储问题。 ● 高并发、高吞吐、完整的跨行事务支持、强一致性