Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 • 抑或是采取了同一份写入到两个站 点的数据库 • 抑或是跨站点写入数据库同时同步 回来(例如 AWS 的AURORA) 这两种方式都没有从根本上解决问题, DRC 概念的出现, 让大家对分布式存储 又有了新的期待 Data Replication Center 目前携程的应用也在进行单元化的部署模

的更改更快地生 效。 1.2.2.12.8. Kiali 更新 Kiali 1.36 包括以下功能和增强： Service Mesh 故障排除功能 control plane 和网关监控 代理同步状态 Envoy 配置视图 显示 Envoy 代理和应用程序日志处于交集的统一视图 支持联邦服务网格视图的命名空间和集群选择 新的验证、向导和分布式追踪增强 1.2.2.13. Red Hat 更新路径规范化配置 Istio 授权策略可能基于 HTTP 请求中的 URL 路径。路径规范化 （也称为 URI 规范化）、修改和标准化传 入请求的路径，以便能够以标准的方式处理规范化路径。在路径规范化后，同步不同路径可能是等同的。 Istio 在根据授权策略和路由请求前，支持请求路径中的以下规范化方案： 表 1.1. 规范化方案 选项 选项 描述 描述 示例 示例 备 备注 注 第 第 1 章 章 configuredMembers 中删除命名空间。相反，控制器会将命名空间添加到 SMMR.status.pendingMembers 中，以指示它们不是最新的。在协调过程中，因为每个命名空 间与 SMCP 同步，命名空间会自动从 SMMR.status.pendingMembers 中删除。 OSSM-1668 一个新的字段 spec.security.jwksResolverCA 已添加到版本 2.1

可以定义非常灵活的问题阈值，称为触发器，从后端数据库引用值 高度可配置的告警 • 可以针对升级计划、收件人、媒体类型自定义发送通知 • 使用宏可以使通知变得有意义和有用 • 自动化操作包括执行远程命令 实时图形 • 采集到的监控项值可以使用内置的绘图功能立即绘图 网络监控功能 • Zabbix 可以跟踪网站上的模拟鼠标点击路径并检查功能和响应时间 广泛的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 items 表中的名称时创建，已经过优化，现在可以更有效地处理。 17 Zabbix 6.0.12 新功能 改进了历史同步器的性能 通过引入新的读写锁提高了历史同步器的性能。这通过在访问配置缓存时使用共享读锁减少了历史同步器、捕 获器和代理轮询器之间的锁定。新锁只能由配置同步器执行配置缓存重新加载。 18 Zabbix 6.0.13 新功能 重大变化 可加载插件版本控制 Loadable plugins 启用的分析按函数名称提供所有 rwlocks/mutex 的详细信 息。
自 Zabbix 6.0.13 起支持。 进程类型 - 指定类型的所有 进程（例如历史同步器） 支持的进程类型作为分析目 标：警报器、警报管理器、 可用性管理器、配置同步器、 发现器、escalator , history poller, history syncer, housekeeper, http poller,

(mapping, error logs, configuration, version, etc.) 4 实时导出事件，监控项采集值，趋势数据 4 Real-time export of events, values, trends 概述 Overview 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值，趋势数据。 It is possible to configure host/item was removed after the data was received, but before server exported data. 配置 Configuration 实时导出触发器事件，监控项采集值，趋势数据可以通过 Zabbix server 配置文件中的 ExportDir 参数来指定数据导出目录。Real-time export of trigger events more information) See also runtime control options. ExportDir 否 换行符分隔的 JSON 格 式实时导出事件, 历史 数据和趋势数据到这个 目录。如果设置，则启 用实时导出数据到这个 目录。 此参数从 Zabbix 4.0.0 开始支持。 ExportDir no Directory for real-time export of

Elasticsearch 日志。 如果您仍然遇到安装问题，请创建一个 bug 报告，其中需包含该列表中的所有信息（映射、错误日志、配置、版本等信息）。 6 实时导出事件，监控项采集值，趋势数据 概述 可以配置使用换行符分隔的 JSON 格式实时导出触发器事件，监控项采集值和趋势数据。 导出完成后的文件中，每一行都是一个 JSON 对象。值映射不被应用。 如果出现错误（导出文件无法写入数据、无 有关导出数据的详细信息，请参考导出协议 页面。 注意：如果在收到数据后、服务器导出数据之前，删除了主机/监控项，那么主机/监控项将没有元数据（例如：主机组、主机名、监控项名 称等）。 配置 我们通过为导出文件指定目录，来配置实时导出触发器事件、监控项采集值和趋势数据。请参考服务器配置 中 ExportDir 参数。 另外两个可用的参数是： • ExportFileSize 可以用来设置单个导出文件的最大允许大小。当一个 "\0\0\0\0" . $data; Python packet = "ZBXD\1" + struct.pack('实时导出协议 本节以换行符分隔的 JSON 格式显示实时导出协议的详细信息，用于： • 触发事件 • 监控项值 • 趋势 所有文件均具有.ndjson 扩展名。导出文件的每一行都是一个 JSON 对象。 触发事件 针对问题事件导出以下信息：

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 940 17.8 queue --- 同步队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 941 17.8.1 Queue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 972 18.1.4 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 979 18.1.5 子进程集 1 性能分析器简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1714 27.5.2 实时用户手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1714 27.5.3 profile

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 936 17.8 queue --- 同步队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 937 17.8.1 Queue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 968 18.1.4 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 975 18.1.5 子进程集 1 性能分析器简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1710 27.5.2 实时用户手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1710 27.5.3 profile

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.8.1 Queue 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912 18.1.3 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919 18.1 性能分析器简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1655 27.5.2 实时用户手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1655 27.5.3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838 17.9 contextvars 法应当返回一个假值以表明方法已成功完 成并且不希望屏蔽被引发的异常。这允许上下文管理代码方便地检测__exit__() 方法是否确实已失 败。 Python 定义了一些上下文管理器来支持简易的线程同步、文件或其他对象的快速关闭，以及更方便地操作活 动的十进制算术上下文。除了实现上下文管理协议以外，不同类型不会被特殊处理。请参阅contextlib 模 块查看相关的示例。 Python 的generator Reference, 发布 3.8.20 6.3.3 Differ 对象 请注意Differ 所生成的增量并不保证是 最小差异。相反，最小差异往往是违反直觉的，因为它们会同步任 何可能的地方，有时甚至意外产生相距 100 页的匹配。将同步点限制为连续匹配保留了一些局部性概念，这 偶尔会带来产生更长差异的代价。 Differ 类具有这样的构造器： class difflib.Differ(linejunk=None

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826 17.8.1 Queue 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 849 18.1.3 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 856 18.1.4 子进程集 1 性能分析器简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1550 27.5.2 实时用户手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1550 27.5.3 profile