TiDB 与 TiFlash扩展——向真 HTAP 平台前进 韦万
0 码力 | 45 页 | 2.75 MB | 5 月前3TiDB 开源分布式关系型数据库
效、安全可告、开放兼容 的新型数据基础设施,解放企业生产力,加速企业数字化转型升级。 由PingCAP 创立的分布式关系型数据库 TiDB,为企业关键业务打造,具备 分布式强一致性事务、在 线弹性水平扩展、故障自恢复的高可用、跨数据中心多活」 等企业级核心特性,帮助企业最大化发挥数 据价值,充分释放企业增长空间。 目前,PingCAP 已经向包括中国、美国、欧洲、日本、东南亚等国家和地区,超过 为了真正解决企业级用户在高性能实时数据分析领域的业务需求,我们在 TiDB 已有体系架构的基础上, 结合最先进的列式存储与计算技术,研发而成了 Tiflash 高性能列式分析引擎。 Tiflash 是TiDB 数据库的扩展分析引擎,核心基于列存储引擎和矢量计算引擎, 与 TiDB 紧密集成,通 过Raft Learner副本技术同步数据,对TiDB 集群的 OLTP 交易几乎没有影响。提供和 TiDB 保持强一致 的数据读取,是真正的内核级 开源分布式关系型数据库 序号 名称 社区版 业版 安全审计《仅日击) v 安全审计扩展模块 x v 4 安全 政据存储加密 v v 通信加窗 v0 码力 | 58 页 | 9.51 MB | 1 年前3PingCAP TiDB&TiKV Introduction OLTP
SenseiDB 创始人. CEO/CTO 是分布式计算领域的旗帜性人物和开源社区领袖,同时是国际知名开源项目 Codis 作者。 Codis 是基于 Redis 的分布式集群解决方案, 为用户提供在线弹性伸缩和高性能的缓存服务,该项目 目前已广泛被各大互 联网公司(百度/小米/滴滴/猎豹 等)采用。 核心技术团队均为一线互联网公司基础架构部资深架构师,有技术改变世界的强烈抱负。 2013年以后 (TiDB + TiKV) ● 基于 2013 年 Google Spanner / F1 论文 ● 基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 论文 概括: 无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一(对标美国 CockroachDB) ● 完全从头打造,并非基于 MySQL 无限线性水平扩展(Scale Out) 无论多大的数据量,都可以轻松通过增加节点来解决,写入和读取时延固定(毫 秒级别),无需分库分表或者搭建复杂的 Hadoop 集群,完整的 MySQL 兼容接 口轻松处理高并发实时写入、实时查询和分析,极大的简化程序设计、应用维护 ,轻松应对大数据存储问题。 ● 高并发、高吞吐、完整的跨行事务支持、强一致性 通过简单的增加节点,提供无上限的、线性扩展的的高并发、高吞吐的处理能力0 码力 | 21 页 | 613.54 KB | 5 月前3[PingCAP Meetup SH 5.26]上海电信微信营业厅 TiDB 实践 v 1.6
根据时间敏感度逐步分业务线迁移 2018年3月15日,全平台业务完成切换! TIDB 特性 • 高度兼容 MySQL • 水平弹性扩展 • 分布式事务 • 真正金融级高可用 • 一站式 HTAP 解决方案 • 周围工具 • MySQL -> TiDB ,一行代码没改 • 满足营销活动时候的扩展 • 满足账单支付金融级别要求 • 上线 2 个月以来,平稳运行 • 满足实时统计分析、报表要求 •完善的监控、备份体系0 码力 | 9 页 | 188.20 KB | 5 月前3TiDB中文技术文档
(Hybrid Transactional and Analytical Processing) 数据库,结合了传统的 RDBMS 和 NoSQL 的最佳特性。 TiDB 兼容 MySQL,支持无限的水平扩展,具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 高度兼容 MySQL 大多数情况下,无需修改代码即可从 MySQL 轻松迁移至 TiDB,分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展,按需扩展吞吐或存储,轻松应对高并发、海量数据场景。 分布式事务 TiDB 100% 支持标准的 ACID 事务。 真正金融级高可用 相比于传统主从 (M-S) 复制方案,基于 要深入了解 TiDB 的水平扩展和高可用特点,首先需要了解 TiDB 的整体架构。 TiDB 集群主要分为三个组件: TiDB Server 负责接收 SQL 请求,处理 SQL 相关的逻辑,并通过 PD 找到存储计算所需数据的 TiKV 地址, 与 TiKV 交互获取数据,最终返回结果。 TiDB Server 是无状态的,其本身并不存储数据,只负责计算,可以无限水平扩展,可以通过负载均衡组件(如0 码力 | 444 页 | 4.89 MB | 5 月前3TiDB v5.4 中文手册
MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。 2.1.2 四大核心应用场景 • 对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景 众所周知,金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案 是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务,此解决方案存在以下缺点: 资源利用率低、维护成本高、RTO 采用多副本 + Multi-Raft 协议的方式将数据调度到不同的机房、机架、机器,当部分机 器出现故障时系统可自动进行切换,确保系统的 RTO <= 30s 及 RPO = 0。 • 对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 随着业务的高速发展,数据呈现爆炸性的增长,传统的单机数据库无法满足因数据爆炸性的增长对数 据库的容量要求,可行方案是采用分库分表的中间件产品或者 “info”,保证 大小写不敏感。 TiFlash profile. �→ default. �→ enable_ �→ elastic_ �→ threadpool 新增 表示是否启用 可自动扩展的 线程池。打开 该配置项可以 显著提高 TiFlash 在高并 发场景的 CPU 利用率。默认 值为 false。 TiFlash storage. �→ format_ �→ version0 码力 | 2852 页 | 52.59 MB | 1 年前3TiDB v7.1 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.1.4 扩展阅读 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 生态,应用无需或者修改少量代码即可从 MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。 2.1.2 四大核心应用场景 • 金融行业场景 金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案的资源利用 率低,维护成本高。TiDB 采用多副本 + Multi-Raft 协议的方式将数据调度到不同的机房、机架、机器,确 保系统的 RTO <= 30s 及 RPO 和7.0.0-DMR 中已发布的新功能、提升改进和错误修 复,并引入了以下关键特性:分类 功能 描述 可扩展性与性能 TiFlash 支持 0 码力 | 4369 页 | 98.92 MB | 1 年前3TiDB v6.1 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 101 4.1.4 扩展阅读 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。 2.1.2 四大核心应用场景 • 对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高的金融行业属性的场景 众所周知,金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案 是同城两个机房提供服务、异地一个机房提供数据容灾能力但不提供服务,此解决方案存在以下缺点: 资源利用率低、维护成本高、RTO 采用多副本 + Multi-Raft 协议的方式将数据调度到不同的机房、机架、机器,当部分机 器出现故障时系统可自动进行切换,确保系统的 RTO <= 30s 及 RPO = 0。 • 对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 随着业务的高速发展,数据呈现爆炸性的增长,传统的单机数据库无法满足因数据爆炸性的增长对数 据库的容量要求,可行方案是采用分库分表的中间件产品或者0 码力 | 3572 页 | 84.36 MB | 1 年前3TiDB v8.1 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.4 扩展阅读 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 生态,应用无需或者修改少量代码即可从 MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。 2.1.2 四大核心应用场景 • 金融行业场景 金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案的资源利用 率低,维护成本高。TiDB 采用多副本 + Multi-Raft 协议的方式将数据调度到不同的机房、机架、机器,确 保系统的 RTO <= 30s 及 RPO Release Notes。下 表列出了从 7.6.0 到 8.1.0 的一些关键特性:分类 功能 描述 可扩展性与性能 提升 BR �→ 0 码力 | 4807 页 | 101.31 MB | 1 年前3TiDB v8.0 中文手册
· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.1.4 扩展阅读 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 生态,应用无需或者修改少量代码即可从 MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。 2.1.2 四大核心应用场景 • 金融行业场景 金融行业对数据一致性及高可靠、系统高可用、可扩展性、容灾要求较高。传统的解决方案的资源利用 率低,维护成本高。TiDB 采用多副本 + Multi-Raft 协议的方式将数据调度到不同的机房、机架、机器,确 保系统的 RTO <= 30s 及 RPO功能/增强 描述 可扩展性与性能 支持拆分 PD 功能为微服务, �→ 提高可扩展性(实验特性) Placement Driver (PD) 包含了多个确保 0 码力 | 4805 页 | 101.28 MB | 1 年前3共 25 条- 1
- 2
- 3