陈宗志:大容量redis存储方案--Pika
com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 • 解决问题 • Pika vs redis SACC2017 • Pika 是DBA 和 基础架构团队一起设计开发的 大容量redis的解决方案 • 完全兼容redis 协议, 用户不需要修改任何代码 进行迁移 Introduction SACC2017 • Redis实例数量:6000+个 使用基于磁盘的存储引擎rocksdb 实现多 数据接口接口 • 网络库 • 添加binlog 模块 SACC2017 Pika 整体结构 SACC2017 网络模块--Pink • 基础架构团队开发网络编程库, 支持pb, redis, pg, http等协议. • 抽象各种不同类型线程 – DispatchThread – WorkThread – BGThread Pika主从 SACC2017 Pika 开发现状 • Pika团队目前有2个主力开发维护,2个DBA做需求分 析讨论、性能测试、bug跟踪、回归测试。积累1700+ 个测试用例 • 产品经理汇总github问题和交流群用户反馈,帮用户问 题解决和需求排期开发 • 一月一个小版本, 二月一个大版本 SACC2017 Pika 开发现状 • 双主支持 • Pika_hub0 码力 | 47 页 | 2.18 MB | 1 年前3高金芳-平安科技-PostgreSQL反向代理redis
高金芳,中国平安集团旗下平安科技数据库技术部数据库架构师,从事数据库相关工作9年。 2007年毕业,从事oracle ERP开发,数据仓库和数据挖掘相关工作。 2011年加入平安科技,从事过数据库的开发、架构设计、新数据库产品引入、Oracle的架构优化等工作, 幵负责部门的Redis产品相关工作。近期致力亍PostgreSQL源码研究。 2016Postgres中国用户大会 SQL-3/SQL- 99,是目前世界上支持最丰富的数据类型的数据库 PostgreSQL 对接口的支持也是非常丰富的,几乎支持所有 类型的数据库客户端接口 PostgreSQL可以获得非常广阔范围的(开发)语言绑定 (包括 C,C++,Java,Perl,TCL和 Python等) PostgreSQL Advantages 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 可以读取数据库以外的文件,比如 .csv 和 .txt 01 接口稳定,可以进行二次开发,使用方便 02 丰富的插件,支持各种异构DB的连接,如Oracle,Mysql,Redis,Mongodb 03 2016Postgres中国用户大会0 码力 | 28 页 | 3.61 MB | 1 年前3常见Redis未授权访问漏洞总结
未授权访问漏洞 漏洞简介以及危害 VNC 是虚拟网络控制台Virtual Network Console的英文缩写。它是一款优秀的远程控制工具软件 由美国电话电报公司AT&T的欧洲研究实验室开发。VNC是基于 UNXI 和 Linux 的免费开源软件由 VNC Server 和 VNC Viewer 两部分组成。VNC 默认端口号为 5900、5901。VNC 未授权访问漏洞如被利用 -以最小普通权限身份运行操作系统。 Docker 未授权访问漏洞 漏洞简介以及危害 Docker 是一个开源的引擎可以轻松地为任何应用创建一个轻量级的、可移植的、自给自足的容 器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署包括 VMs、bare metal、 OpenStack 集群和其他的基础应用平台Docker。 Docker Remote API 等功能。Atlassian Crowd Data Center是Crowd的集群部署版。Atlassian Crowd和Crowd Data Center在其某些发行版本中错误地启用了pdkinstall开发插件,使其存在安全漏洞。攻击者利用该漏洞 可在未授权访问的情况下对Atlassian Crowd和Crowd Data Center安装任意的恶意插件,执行任意代 码/命令,从而获得服务器权限。0 码力 | 44 页 | 19.34 MB | 1 年前3阿里云云数据库 Redis 版 产品简介
公测期间仅支持预付费模式的混合存储系列实例,按量付费暂不支持。 Redis 4.0 新功能介绍 云数据库 Redis 版 4.0 是以社区 4.0 引擎为基础,合入了大量阿里云开发的特性,并且修复了许多 bug 后全新 推出的售卖版本。除了拥有 Redis 2.8 引擎所具备的所有优势之外,还带来了下面这些新功能。 Lazyfree 云数据库 Redis 版 产品简介 针对备份集回滚实 例或者克隆实例,有效的解决数据误操作等问题。 兼容性 云数据库 Redis 版 产品简介 12 云数据库 Redis 标准版在 Redis 2.8基础上进行开发,100%兼容 Redis 协议命令。自建的 Redis 数 据库可以平滑迁移至 Redis 标准版。并且提供数据传输工具(DTS)可以进行增量的 Redis 迁移,保 证业务平稳过渡。 提供双副本集群版实例,轻松突破 Redis 自身单线程瓶颈,可极大满足对于 Redis 大容量或高 性能的业务需求。 云数据库 Redis 集群版内置数据分片及读取算法,整体过程对用户透明,免去用户开发及运 维 Redis 集群的烦恼。 组件 云数据库 Redis 双副本集群版实例由 Proxy 服务器(服务代理)、分片服务器和配置服务器三个组件组成。 云数据库 Redis 版0 码力 | 33 页 | 1.88 MB | 1 年前3《Redis使用手册》(试读版)
(antirez)开发的开源的内存数据结构存储器, 它经常被⽤作数据 库、缓存以及消息代理等⽤途。 Redis 因为它丰富的数据结构、极快的速度、⻬全的功能⽽为⼈所知, 它是⽬前内存数据库⽅⾯的事实标准, 在 互联⽹上有⾮常⼴泛的应⽤, 包括微博、Twitter、GitHub、Stack Overflow、知乎等国内外公司都⼤量地使⽤了 Redis 。 Redis 之所以⼴受开发者欢迎, 跟它⾃ 因此与基于硬盘设计的传统数据库相⽐, Redis 在数据的存取速度⽅⾯具有天然的优势。 虽 然说“背靠⼤树好乘凉”, 但 Redis 并没有因为⾃⼰拥有天然的速度优势就放弃了⾃⼰在效率⽅⾯的追求。 与此相反, Redis 的开发者在实现各项数据结构和特性的时候都经过了⼤量考量, 在底层选⽤了很多⾮常 ⾼效的数据结构和算法, 以此来确保每个操作都可以在尽可能短的时间内完成, 并且尽可能地节省内存。 对⽤户友好的API、⽂档以及社区 forum/redis-db)甚⾄作者的 Twitter(twitter.com/antirez) 上提 问。 ⼴泛的⽀持 正如之前所说, Redis 已经得到了互联⽹公司的⼴泛使⽤, 许多开发者为不同的编程语⾔开发了相应的客 户端(redis.io/clients), 绝⼤多数编程语⾔的使⽤者都可以轻⽽易举地找到他们所需的客户端, 然后直 接开始使⽤ Redis 。 此外,包括亚⻢逊、⾕歌、Redi0 码力 | 352 页 | 6.57 MB | 1 年前3携程 Redis 多数据中心 双向同步实践 祝辰
携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 角色 如何解决 • 新的协议支持 双向同步 • 兼容Slaveof命 令 slaveof slaveof peerof peerof Peerof 命令 • Redis提供了方 便开发的平台 • 实现一个命令 的方式 回环复制 SET KEY=VAL SET KEY=VAL SET KEY=VAL SET KEY=VAL • 网络风暴 • 数据不一致 如何解决0 码力 | 33 页 | 2.15 MB | 1 年前3Redis 多数据中心双向同步 祝辰
跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性 在实现单元化的部署过程中, 跨数据中 心的数据访问一直是一个业务的痛点. 是否我们也能够有自己的一套 DRC? 来完 成每个站点的单独写入读取, 而不用关心 底层存储的一致性和同步问题. 对此需求进行分析后, 我们决定开发一个 Redis 的 DRC 架构, 来支撑携程集群的应 用单元化部署, 而不仅仅是限制于Redis 数 据的双向同步. Redis For DRC 高可用性 一致性 分区容忍性 传统关系型数据库为代表的0 码力 | 45 页 | 1.74 MB | 1 年前3
共 7 条
- 1