大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 • 解决问题 • Pika vs redis SACC2017 • Pika 是DBA 和 基础架构团队一起设计开发的 大容量redis的解决方案 • 完全兼容redis 协议, 用户不需要修改任何代码 进行迁移 Introduction SACC2017 • Redis实例数量：6000+个 • 日访问量：5000+亿 • Pika数据数量：1000+个 SACC2017 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大

职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan,.com.cn 个人简介： 高金芳，中国平安集团旗下平安科技数据库技术部数据库架构师，从事数据库相关工作9年。 2007年毕业，从事oracle ERP开发，数据仓库和数据挖掘相关工作。 2011年加入平安科技，从事过数据库的开发、架构设计、新数据库产品引入、Oracle的架构优化等工作， racle的架构优化等工作， 幵负责部门的Redis产品相关工作。近期致力亍PostgreSQL源码研究。 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 What is Redis 01 Dilemma 02 Why PostgreSQL 03 Redis + 04

-禁止把Jenkins直接暴露在公网。 Memcached 未授权访问漏洞 漏洞简介以及危害 Memcached 是一套常用的 key-value 分布式高速缓存系统，由于 Memcached 的安全设计缺陷没 有权限控制模块，所以对公网开放的Memcache服务很容易被攻击者扫描发现，攻击者无需认证通过命 令交互可直接读取 Memcached中的敏感信息。 漏洞利用 环境介绍 环境搭建 curl http://localhost:9200/_nodes #查看节点数据 更多利用可以自行搜索一下 漏洞简介以及危害 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，由于服务器直接在开放了 Hadoop 机器 HDFS 的 50070 web 端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据，如 进行删除，下载，目录浏览甚至命令执行等操作，产生极大的危害。

什么是云数据库 Redis 版 云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希表 （H 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统 自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 集群架构：集群（ 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾 切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务，其硬件和数据部署在云端，有完善的基础设施规划、网络安全保障、系统 维护服务，确保用户专心致力于业务创新。 混合存储公测开通须知 Redis混合存储系列将于2018年3月

Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点 支持海外站点和国内站点同时进行读写; 并解决因此可能出现的数据一致性问题. 需求的产生 DRC 的概念是在近年来, 云计算兴起, 多站点部署的场景下, 延伸出来对于数 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 • 抑或是采取了同一份写入到两个站 点的数据库 • 抑或是跨站点写入数据库同时同步 回来(例如 AWS

第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 附录 附录 A ：Redis 安装⽅法* 附录 B ：redis-py 安装⽅法* 前⾔ 时光荏苒， 距离我的第⼀本书《Redis设计与实现》出版已经过去了整整五年。 在这五年间， Redis 从⼀个不为 ⼈熟知、只有少量应⽤的崭新数据库， 逐渐变成了内存数据库领域的事实标准。 五年之前， 当⼈们提到 Redis 的时候， 语⽓通常都充满了怀疑： 互联⽹上有⾮常⼴泛的应⽤， 包括微博、Twitter、GitHub、Stack Overflow、知乎等国内外公司都⼤量地使⽤了 Redis 。 Redis 之所以⼴受开发者欢迎， 跟它⾃身拥有强⼤的功能以及简洁的设计不⽆关系。 虽然 Redis 拥有各式各样的特点和优点， 但其中最重要的不外乎以下这些： 丰富多样的数据结构 Redis 为⽤户提供了字符串、散列、列表、集合、有序集合、HyperLogLog、位图、流、地理坐标等⼀系列 找到你想要的功能， 并将其部署到你的服务器⾥⾯。 ⻛驰电掣般的执⾏速度 Redis 是⼀款内存数据库， 它将所有数据都储存在内存⾥⾯。 因为计算机访问内存的速度要远远⾼于访问 硬盘的速度， 因此与基于硬盘设计的传统数据库相⽐， Redis 在数据的存取速度⽅⾯具有天然的优势。 虽 然说“背靠⼤树好乘凉”， 但 Redis 并没有因为⾃⼰拥有天然的速度优势就放弃了⾃⼰在效率⽅⾯的追求。 与此相反， Redis

携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA

操作步骤 进入 云数据库 Redis 版产品首页，单击立即购买。或者进入 Redis 管理控制台，单击右上角的创建 实例。 选择按量付费或预付费模式，完成网络类型、地域、可用区、架构类型等实例配置。两种付费模式的 填写项基本一致。 注意事项： 主从版本支持变配至集群版，集群版实例在功能上和主从版实例有所不同，具体请参 见 Redis 支持命令。