⾼性能⾼可⽤机票实时搜索系统 去哪⼉⺴ 梁启康 议题 系统诉求 海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + 设计思路路 • 最理理想的⽅方式 • 所有的报价都实时计算，填充好 • ⼀一个巨⼤大的哈希表 • 响应所有渠道价格变动进⾏行行计算 • 快 • 0 变价 设计思路路 CAP BASE 理理论 按需计算 消息驱动 异步 分布式 分级缓存 • 要求同步延迟很低，不不超过60s • 保持顺序⼀一致性，如果先删后插变成 先插后删，数据会不不⼀一致 • 数据最终⼀一致 • 系统⾼高可⽤用 报价引擎 — 组织索引 北北 京 | 上 海海 成 都 | 杭 州 ⼴广 州 | 郑 州 南 宁 | 天 津 … 索引库 DB Sync 规则库 供应商 A 供应商 B 供应商 M … 报价引擎 — 数据同步 Pipeline

海尔实时计算平台技术选型与实践 海尔电器－肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm Flink Ganglia Sqoop zeppelin Saiku Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 代码埋点： • 优点：采集能力强 • 缺点：时间、人力成本大 实时数据采集－数据如何获取？ 可视化埋点： • 优点：成本低，速度快 • 缺点：行为记录信息少，支持的分析方式少 • Flume

携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 仓位信息供应商 国内 海外 单向同步 • 单向同步可以解决 海外重复收费的问 题 • 无法解决上海重复 收费的问题 业务痛点 仓位信息供应商 国内 海外 双向同步 • 我们希望可以通过 Redis的双向同步 解决重复收费的问 题 双向同步 Redis双向同步 双向同步 Redis Master Redis Master Redis双向同步 1. slaveof • slaveof命令 • redis变成slave， 同步数据 • Slave无法写入 Redis双向同步 1. peerof 2. Sync data • 新的命令“peerof” • 同步数据 • 继续保持Master的 角色 如何解决 • 新的协议支持 双向同步 • 兼容Slaveof命 令 slaveof slaveof

Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李/松/胡争 23选择 Flink Ic+b+1g #2 常DCCDC 分析方案 #1 如3实时写 4F取 ## 未来规划 #4 #见的CDC分析方案 #1 离线 HBase 集u分析 CDC 数a 、CDC记录实时写入HBase。高吞P + 低延迟。 2、小vSg询延迟低。 3、集u可拓展 ci评C 2、D存存储，Ca速O快。 3、方便上S3 OSS，超高性价比。 方案s估 优点 1、增量和全量表割p，时效性不足。 2、r计和l护额外hChang+ S+4表。 3、计算引擎并非原g支UCDC。 4、不支U实时U13+24。 缺点 为何选择 #+ink Iceberg ? #2 Flink 原生支持 C C 数据消费 ebezium 1lHLI W生支持 ./. 数据消费 -- BPDaRDs 6、gc增量b取。 7、nm足够简s，无在线l务节u。 i案评D Cu 如何实时#入读取? #3 s量更新场景 VS +,+写入场景 k比项 s量更新场景 +,+写入场景 典g场景 1. G,2R； 2. s量删除daGa Aak=中某P共d特p的数t集。 1. .AiBk聚合结果实时HDF=EG目标表； 2. BiBAC>实时l入daGa Aak=W数t分析。 示V U2,)TE G=FG SET

UAS-点评侧用户行为检索系统 57 ...................................................................... 美团DB数据同步到数据仓库的架构与实践 66 ...................................................................... 不可不说的Java“锁”事 ....... 境外业务性能优化实践 91 ...................................................................... 美团广告实时索引的设计与实现 106 ...................................................................... 大众点评账号业务高可用进阶之路 设计一套整体的流程管理机制，解决运营的投放、审核、发布和回滚的问题。通过流程化的机制，我们实 现了“事前”、“事中”、“事后”的三级管理。 首先，在运营配置上线前，通过测试用户的预览功能，可以预览上线后的实时效果。同时，通过穿越功能 可查看将来时段显示的效果。防止出现上线后链接出错、视觉效果达不到预期等问题。 其次，在流程阶段，引入审核机制，通过视觉和内容两方面的审核，保证投放数据的准确性。 最后

VIPKID -TiDB 在公有云亿级数据场景下的应用实践 47 5.7 游戏 网易互娱 -基于 TiDB 措建跨源异构计算架构 “049 5.8 视频 Bigo - 选择 TiFlash 打造高效的实时分析平台 "0 51 第六章 技术支持与培训认证 6.1技术支持 . 54 6.2培训与认证 54 联系我们 . 56 一 TiDB Lightning&TiDB Data Migration 正式开源 2019年6月 TiDB User Group 正式成立-恒 TiDB30GA发版-本 2019年9月 一体化数据同步平台TiDB Data Migration L0 GA发呈 2020年5月 TiDB40GA发版 2020年9月 CNCF宣布Tiky 正式从CNCF毕业 -则 PingCAP 论文(TiDB:ARaftbased 是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的开源分布式关系型数据库产品, 具备水平扩容或者编容、金融级高可用、实时 HTAP,云原生的分 布式数据库、兼容 MySQL 5.7协议和 MySQL 生态等重要特性, 向用户提供一站式 OLTP.OLAPHTAP 解决 方案,适用于对高可用、一致性要求高、数据规模较大等应用场景。

协同 ❌ 可视化程度低，学习成本⾼ ❌ ❌ 接⼝数据没有统⼀规范 ❌ 多系统，数据不互通 多⼯具切换，团队难以协作 可视化设计，⼩⽩都会⽤ ⼀个系统，同⼀份⽂档⼀次定义，⾃动同步 多⼈协作，实时反馈，合作更紧密 ⾃动化程度⾼，提⾼开发⼈员⽣产⼒ 以⼀致性提⾼软件的质量，简化企业 API 治理 ⾯向未来的 API 协同 API 设计者 后端开发 前端开发 测试工程师 API 可视化编排 逻辑判断 多线程压测 测试数据集 CI/CD 集成 兼容 JMeter 可视化报告 定时任务 API 分发 实时更新 实时调试 Markdown 公开⽂档站点 ⾃定义域名 ⾃定义样式 密码保护 Fox 脚本引擎 团队协同 历史修改记录 多⼈实时编辑 API 设计 可视化编辑 请求模版 多环境配置 响应示例 兼容 OAS 规范 数据模型 分⽀管理 Coming soon soon 兼容 Postman 多协议⽀持 HTTP(REST) TCP Coming soon Coming soon WebSocket GraphQL 成员/权限管理 IDE 插件同步 应对 API 研发双模型，各有妙招 监控 导出文档集 API 调用 代码注释 API 调用 API 定义 撰写接口文档 监控 业务代码 接口调用 调试接口 分发文档 Mock

Nacos 1.1.2 升级 1.4.1 最佳实践 267 服务发现最佳实践 281 Eureka 平滑迁移 Nacos 方案 281 Nacos 打通 CMDB 实现就近访问 288 跨注册中心服务同步实践 298 配置管理最佳实践 310 Nacos 限流最佳实践 310 Nacos 无缝支持 confd 配置管理 320 结语 326 结语 326 作者 < 6 作者 李艳林（彦林） 步演化成 3 个产品的，因此我们最终决定将内部三个 产品合并统⼀开源。定位为：⼀个更易于构建云原生应用的动态服务发现、配置管理和服务管理平 台。由于我们在阿里内部发展了 10 年，在易用、规模、实时、稳定沉淀了核心竞争力，围绕阿里 Dubbo 和 Spring-cloud-alibaba 生态进行推广，建立阿里 DNS（Dubbo+Nacos+Spring- cloud-alibaba/S restfulAPI，易用的控制台，丰富的使用文档。 稳定：99.9% 高可用，脱胎于历经阿里巴巴 10 年生产验证的内部产品，支持具有数百万服务的大 规模场景，具备企业级 SLA 的开源产品。 实时：数据变更毫秒级推送生效；1w 级，SLA 承诺 1w 实例上下线 1s，99.9% 推送完成；10w 级，SLA 承诺 1w 实例上下线 3s，99.9% 推送完成；100w 级别，SLA 承诺

深入理解函数式编程（上） 512 深入理解函数式编程（下） 541 Android 对 so 体积优化的探索与实践 568 从 0 到 1：美团端侧 CDN 容灾解决方案 589 美团高性能终端实时日志系统建设实践 608 后端 622 可视化全链路日志追踪 622 设计模式二三事 647 基于代价的慢查询优化建议 670 Java 系列 | 远程热部署在美团的落地实践 692 从多领域优化到 AutoML 框架 作者：胡可 1. 背景与简介 反馈快速、竞争激烈的算法比赛是算法从业者提升技术水平的重要方式。从若干行业 核心问题中抽象出的算法比赛题目具有很强的实际意义，而比赛的实时积分榜促使参加 者不断改进，以试图超越当前的最佳实践，而且获胜方案对于工业界与学术界也有很强 的推动作用，例如 KDD Cup 比赛产出的 Field-Aware Factorization Machine(FFM) 的浏览行为，往往有着完全不同的偏好。例如一个用户工作日在公司附近，可能感兴 趣的就是一次方便的工作餐；在假期的家中，则会想找一个有趣的遛娃去处。但传统 的图神经网络缺乏对用户请求时间和所处位置的实时感知能力。因此如何从图蕴含的 丰富信息中挖掘出匹配当前时空场景的候选集合，同样是一大挑战。 针对以上业务特点和挑战，我们设计了基于全场景数据高阶关系的大规模异构图建 模，借助全场景丰富的行为数