大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 • 解决问题 • Pika vs redis SACC2017 • Pika 是DBA 和 基础架构团队一起设计开发的 大容量redis的解决方案 • 完全兼容redis 协议, 用户不需要修改任何代码 进行迁移 Introduction SACC2017 • Redis实例数量：6000+个 • 日访问量：5000+亿 • Pika数据数量：1000+个 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 • 成本问题

云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希表 （Hash）等多种数据类型，及事务（Tr 合独特的 QoS模块，使综合硬件性价比达到最高。 产品优势 简单易用 完全兼容Redis协议，用户无需修改任何代码。 大容量 突破内存容量限制，单实例最高可支持TB级别的数据容量。 高性能 Redis混合存储型实例的绝大部分热点请求直接从内存获取，其性能与高性能内存型实例完 全一致。 基于其冷热数据分离的特性， 型实例，内存中保留热门直播间的数据，不活跃的直播间数据被自动存储到磁盘上，可以达到对有限 内存的最佳利用效果。 电商类应用 电商类应用往往有大量的商品数据。使用Redis混合存储型实例，可以轻松突破内存容量限制，将大 量的商品数据都存储到Redis混合存储型实例中。在正常业务请求中，活跃的商品数据会留在内存中 ，而不活跃的商品数据会逐渐交换到磁盘上，可以免受内存不够的困扰。 产品系列

....................................................................................... - 265 - 内存容量 .................................................................................................. ......................................................................................... - 267 - 容量评估................................................................................................. 处理能力越强(这也不是绝对的，当 Primary 数量多到，即便运行单个任务时都会出 现资源争抢，可能运行的效率就会下降)。实际上，每个计算主机的 Primary 个数， 还与其他资源有关，如，磁盘性能，网络性能，内存容量。 内联网络：Interconnect Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼

什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠、系统⾼可⽤、可扩展性、容灾要求较⾼的⾦融⾏业属性的场景 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 障时系统可⾃动进⾏切换，确保系统的 RTO <= 30s 及 RPO = 0。 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 对存储容量、可扩展性、并发要求较⾼的海量数据及⾼并发的 OLTP 场景 场景 随着业务的⾼速发展，数据呈现爆炸性的增⻓，传统的单机数据库⽆法满⾜因数据爆炸性的增⻓对数据库的容量要求，可⾏⽅案是采⽤分库分表的中间件产品或者 NewSQL 数据库替代、 采⽤⾼端的存储设备等，其中性价⽐最⼤的是 采⽤⾼端的存储设备等，其中性价⽐最⼤的是 NewSQL 数据库，例如：TiDB。TiDB 采⽤计算、存储分离的架构，可对计算、存储分别进⾏扩容和缩容，计算最⼤⽀持 512 节点，每个节点最 ⼤⽀持 1000 并发，集群容量最⼤⽀持 PB 级别。 Real-time HTAP 场景 场景 随着 5G、物联⽹、⼈⼯智能的⾼速发展，企业所⽣产的数据会越来越多，其规模可能达到数百 TB 甚⾄ PB 级别，传统的解决⽅案是通过

万笔，零钱通单日 5000 万笔，同时还要满足未来 3-5 年业务发展和接入更多互联网代销渠道需求。 光大银行在同城两数据中心构建 TiDB 双活集群，采用 5副本 TiKV，设计 40TB 运辑容量，同时将 TiDB 的数据实时复制到 MySQL，提升业务容灾能力。 PingCAP.COM 一 第五章- dasriaterabher pvmoe To ng Tv 光大银行新一代财富管理平台系统架构图 用户收益 *。 TiDB 经过大规模金融场景验证，解决了传统关系型数据库的容量与性能瓶颈问题。 。 稳定高效的支持金融联机交易及批量业务，支持复杂事务交易及批量数据处理负载。 。 采用多中心多活架构部署，保障数据高可用的同时大幅提升业务的容灾能力 。 *。 ”基于开源社区与 中国银行在生产实践中采用中 Zabbix 运维监控方案, 作为开源云原生方案, Zabbix 一直使用 MySQL 作为 后端存储, 在面对更大规模监控需求的时候, 单机 MySQL 数据库面临性能和容量瓶颈, 无法支持几T量级 的数据, 使得监控对象的数量和数据存储时间不能莱得。 TiDB 是兼容 MySQL 协议的分布式数据库, 在易用性与平滑升级方面比其他监控后台数据库方案更有优 势,中国银行决定采用

新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不同测试计划。在数据库层面需要做好数据隔离，为 CacheOption 可配置属性： 名称 数 据 类型 说明 默认值 initialCa‐ pacity int 本地缓存初始容量 语法树本地缓存默认值 128，SQL 语句 缓存默认值 2000 maximum‐ Size long 本地缓存最大容量 语法树本地缓存默认值 1024，SQL 语句 缓存默认值 65535 c oncurren‐ cyLevel int 本地缓存并发级别，最多允许线程 initialCapacity: # 本地缓存初始容量 maximumSize: # 本地缓存最大容量 concurrencyLevel: # 本地缓存并发级别，最多允许线程并发更新的个数 parseTreeCache: # 解析树本地缓存配置项 initialCapacity: # 本地缓存初始容量 maximumSize: # 本地缓存最大容量 concurrencyLevel: # 本

新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不同测试计划。在数据库层面需要做好数据隔离，为 CacheOption 可配置属性： 名称 数 据 类型 说明 默认值 initialCapac‐ ity int 本地缓存初始容量 语法树本地缓存默认值 128，sql 语句缓 存默认值 2000 maximum‐ Size long 本地缓存最大容量 语法树本地缓存默认值 1024，sql 语句 缓存默认值 65535 c oncurren‐ cyLevel int 本地缓存并发级别，最多允许线程 initialCapacity: # 本地缓存初始容量 maximumSize: # 本地缓存最大容量 concurrencyLevel: # 本地缓存并发级别，最多允许线程并发更新的个数 parseTreeCache: # 解析树本地缓存配置项 initialCapacity: # 本地缓存初始容量 maximumSize: # 本地缓存最大容量 concurrencyLevel: # 本

= 0。 31 • 海量数据及高并发的 OLTP 场景 传统的单机数据库无法满足因数据爆炸性的增长对数据库的容量要求。TiDB 是一种性价比高的解决方 案，采用计算、存储分离的架构，可对计算、存储分别进行扩缩容，计算最大支持 512 节点，每个节点 最大支持 1000 并发，集群容量最大支持 PB 级别。 • 实时 HTAP 场景 TiDB 适用于需要实时处理的大规模数据和高并发场景。TiDB (GA) 支持基于资源组的资源管控，为同一集群中的不同工作负载分配并隔离资源。该功能显著提升了多应用集群 的稳定性，并为多租户奠定了基础。在 v7.1.0 中，资源管控引入了根据实际负载或硬件部署估算集群容量的 能力。 TiFlash 支持0 码力 | 4369 页 | 98.92 MB | 1 年前

3

提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压 测获得测试结果可准确反应系统真实容量和性能水平。 1.1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 JDBC，性能极致。 • 生态兼容 代理端支持任何通过 MySQL/PostgreSQL 协议的应用访问，驱动程序端可对接任意实现 新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 3.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用不同测试计划。在数据库层面需要做好数据隔离，为 initialCapacity: # 本地缓存初始容量 maximumSize: # 本地缓存最大容量 parseTreeCache: # 解析树本地缓存配置项 4.1. ShardingSphere-JDBC 67 Apache ShardingSphere document, v5.2.0 initialCapacity: # 本地缓存初始容量 maximumSize: # 本地缓存最大容量 操作步骤 1.

部分机 器出现故障时系统可自动进行切换，确保系统的 RTO <= 30s 及 RPO = 0。 24 • 对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 随着业务的高速发展，数据呈现爆炸性的增长，传统的单机数据库无法满足因数据爆炸性的增长对数 据库的容量要求，可行方案是采用分库分表的中间件产品或者 NewSQL 数据库替代、采用高端的存储设 备等，其中性价比最大的是 NewSQL NewSQL 数据库，例如：TiDB。TiDB 采用计算、存储分离的架构，可对计算、 存储分别进行扩容和缩容，计算最大支持 512 节点，每个节点最大支持 1000 并发，集群容量最大支持 PB 级别。 • Real-time HTAP 场景 随着 5G、物联网、人工智能的高速发展，企业所生产的数据会越来越多，其规模可能达到数百 TB 甚 至 PB 级别，传统的解决方案是通过 OLTP 型数据库处理在线联机交易业务，通过 盘推荐使用 NVME 接口以保证读写更快。 • 如果仅验证功能，建议使用TiDB 数据库快速上手指南进行单机功能测试。 • TiDB 对于磁盘的使用以存放日志为主，因此在测试环境中对于磁盘类型和容量并无特殊 要求。 4.1.3.2 生产环境 组件 CPU 内存 硬盘类型 网络 实例数量 (最低要求) TiDB 16 核 + 32 GB+ SAS 万兆网卡（2 块最佳） 2 PD 4 核