⾼性能⾼可⽤机票实时搜索系统 去哪⼉⺴ 梁启康 议题 系统诉求 海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + 设计思路路 • 最理理想的⽅方式 • 所有的报价都实时计算，填充好 • ⼀一个巨⼤大的哈希表 • 响应所有渠道价格变动进⾏行行计算 • 快 • 0 变价 设计思路路 CAP BASE 理理论 按需计算 消息驱动 异步 分布式 分级缓存 • 缩短对象驻留留内存时间，减少gc次数，优化单机吞吐 • 数据交换采⽤用protobuf + gzip处理理 • jit、预热 回顾 • ⽔水平分层，纵向分渠道，良好的扩展性 • 实时计算 + 阶梯式缓存，成本与报价新鲜度的权衡 • 闭环系统 • 索引库数据同步 • 本地缓存的设计，更更新策略略 • 缩减对象内存 • ⼀一致性哈希负载均衡 ⼼心得 • 不不同的业务场景，不不同的特征

海尔实时计算平台技术选型与实践 海尔电器－肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm Flink Ganglia Sqoop zeppelin Saiku Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 代码埋点： • 优点：采集能力强 • 缺点：时间、人力成本大 实时数据采集－数据如何获取？ 可视化埋点： • 优点：成本低，速度快 • 缺点：行为记录信息少，支持的分析方式少 • Flume

Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李/松/胡争 23选择 Flink Ic+b+1g #2 常DCCDC 分析方案 #1 如3实时写 4F取 ## 未来规划 #4 #见的CDC分析方案 #1 离线 HBase 集u分析 CDC 数a 、CDC记录实时写入HBase。高吞P + 低延迟。 2、小vSg询延迟低。 3、集u可拓展 ci评C 2、D存存储，Ca速O快。 3、方便上S3 OSS，超高性价比。 方案s估 优点 1、增量和全量表割p，时效性不足。 2、r计和l护额外hChang+ S+4表。 3、计算引擎并非原g支UCDC。 4、不支U实时U13+24。 缺点 为何选择 #+ink Iceberg ? #2 Flink 原生支持 C C 数据消费 ebezium 1lHLI W生支持 ./. 数据消费 -- BPDaRDs 6、gc增量b取。 7、nm足够简s，无在线l务节u。 i案评D Cu 如何实时#入读取? #3 s量更新场景 VS +,+写入场景 k比项 s量更新场景 +,+写入场景 典g场景 1. G,2R； 2. s量删除daGa Aak=中某P共d特p的数t集。 1. .AiBk聚合结果实时HDF=EG目标表； 2. BiBAC>实时l入daGa Aak=W数t分析。 示V U2,)TE G=FG SET

基于go和flutter的实时通信/视频直播解决方案 段维伟 湖北捷智云技术有限公司 创始人 目 录 背景 01 技术简介 02 客户端 03 服务端 04 开源社区 05 Q&A 06 背景 第一部分 即将讲述的内容 • WebRTC 实时通讯 • Flutter 跨平台UI 开发框架 • 基于Flutter UI 框架的WebRTC 插件 flutter-webrtc 语言的WebRTC 协议栈 pion/webrtc • 基于pion/webrtc 的应用级服务框架 pion/ion • 5G 时代, 实时通讯应用爆发 • 疫情影响，全世界都在使用远程教育，远程办公 • 云游戏，机器人，VR，直播等 • 如何用最容易的方案实现实时通讯 • 漂亮的app，最好全部(mobile, web, desktop)平台都支持. • 最容易使用的后端技术 真实世界的需求点 技术简介 第二部分 WebRTC 是什么 01. • 由 Google 发起的基于浏览器通讯标准 • 基于收购来的 GIPS (6800万美金)的高质量实时音视频引 擎 • 支持主流浏览器主流移动设备 • 历时十年成为Web 实时通讯标准 • RTMP 直播协议的低延迟替代方案 WebRTC 可以做什么 02. 副标题 • 用实现网页音/视频通话 • 低延迟直播系统(在线课堂)

....... 境外业务性能优化实践 91 ...................................................................... 美团广告实时索引的设计与实现 106 ...................................................................... 大众点评账号业务高可用进阶之路 设计一套整体的流程管理机制，解决运营的投放、审核、发布和回滚的问题。通过流程化的机制，我们实 现了“事前”、“事中”、“事后”的三级管理。 首先，在运营配置上线前，通过测试用户的预览功能，可以预览上线后的实时效果。同时，通过穿越功能 可查看将来时段显示的效果。防止出现上线后链接出错、视觉效果达不到预期等问题。 其次，在流程阶段，引入审核机制，通过视觉和内容两方面的审核，保证投放数据的准确性。 最后 台进行再次编辑）。 为了能平稳上线，我们设计了一个测试预览功能。当数据处于流程中时，用户可以通过扫描二维码加入到 测试用户名单，可对处于审核流程中的数据进行预览，用美团、大众点评App查看上线后实时效果，其实 现的数据流如下： 七、稳定性的演进 七、稳定性的演进 稳定性是一个运营配置平台最重要的能力，没有稳定性，其他任何功能都会失去实际意义。运营系统的稳 定性经历了不同的迭代时期，总结起来，可概括为以下三个阶段：

创建并使用引导源 11.7. 管理自动引导源更新 第 第 12 章 章 实时 实时迁移 迁移 12.1. 虚拟机实时迁移 12.2. 实时迁移限制和超时 12.3. 迁移虚拟机实例到另一节点 12.4. 在专用额外网络中迁移虚拟机 12.5. 取消虚拟机实例的实时迁移 12.6. 配置虚拟机驱除策略 12.7. 配置实时迁移策略 第 第 13 章 章 节 节点 点维护 维护 13.1. Windows 虚拟机 (VM) 在集群中运行 pod 和虚拟机工作负载 通过各种控制台和 CLI 工具连接至虚拟机 导入和克隆现有虚拟机 管理虚拟机上附加的网络接口控制器和存储磁盘 在节点间实时迁移虚拟机 增强版 web 控制台提供了一个图形化的门户界面 来管理虚拟化资源以及 OpenShift Container Platform 集群容器和基础架构。 OpenShift Virtualization accessMode: ReadWriteMany 和 volumeMode: Block。这一点非常重要： 第 第 1 章 章 关于 关于 OPENSHIFT VIRTUALIZATION 5 实时迁移需要 ReadWriteMany (RWX) 访问模式。 与 Filesystem 卷模式相比，Block 卷模式性能有显著提高。这是因为 Filesystem 卷模式使用更 多存储层，包括文

将虚拟机模板部署到自定义命名空间 9.5. 删除虚拟机模板 第 第 10 章 章 实时 实时迁移 迁移 10.1. 虚拟机实时迁移 10.2. 实时迁移限制和超时 10.3. 迁移虚拟机实例到另一节点 10.4. 在专用额外网络中迁移虚拟机 10.5. 监控虚拟机实例的实时迁移 10.6. 取消虚拟机实例的实时迁移 10.7. 配置虚拟机驱除策略 第 第 11 章 章 节 节点 点维护 中，以启用虚拟化任务。这些任务包括： 创建和管理 Linux 和 Windows 虚拟机 通过各种控制台和 CLI 工具连接至虚拟机 导入和克隆现有虚拟机 管理虚拟机上附加的网络接口控制器和存储磁盘 在节点间实时迁移虚拟机 增强版 web 控制台提供了一个图形化的门户界面 来管理虚拟化资源以及 OpenShift Container Platform 集群容器和基础架构。 OpenShift Virtualization OpenShift Virtualization 环境，以探索其特性和功能。 注意 注意 集群配置过程需要 cluster-admin 权限。 2.1. 开始前 查看安装要求。 查看克隆、快照和实时迁移所需的存储功能。详情请参阅使用启用了 CSI 的存储供应商。 安装 OpenShift Virtualization Operator。 安装 virtctl 工具。 2.2. 开始使用

趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 2 推荐 • 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 • 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 模型推理 预测服务 实时特征 实时数据 3 在线机器学习 实时样本 实时模型训练 实时更新参数 Task 训练预处理 Node 实时样本拼接 Node Node 在线模型训练 Node 离线样本拼接 Node 在线模型评估 Node 模型上线 Node 实时特征处理 Node 离线特征处理 Task Kafka输入 input process process output WeiFlow 工作流 Task 模型训练 Task 模型训练 Task Metrics输出 3 在线机器学习-工作流 互动行为日志 数据过滤 样本拼接 定时轮询 Kafka Hdfs 样本输出 3 在线机器学习-实时样本生成 • 多流拼接 • 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题 • 延迟等待机制，先到先走 • 定时轮寻，最长N分钟等待 • Kafka 堆积监控，实时报警 • 如何解决内存问题 • 调整内存参数 • 关闭多余的监控点 • 如何异常处理

VIPKID -TiDB 在公有云亿级数据场景下的应用实践 47 5.7 游戏 网易互娱 -基于 TiDB 措建跨源异构计算架构 “049 5.8 视频 Bigo - 选择 TiFlash 打造高效的实时分析平台 "0 51 第六章 技术支持与培训认证 6.1技术支持 . 54 6.2培训与认证 54 联系我们 . 56 一 是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的开源分布式关系型数据库产品, 具备水平扩容或者编容、金融级高可用、实时 HTAP,云原生的分 布式数据库、兼容 MySQL 5.7协议和 MySQL 生态等重要特性, 向用户提供一站式 OLTP.OLAPHTAP 解决 方案,适用于对高可用、一致性要求高、数据规模较大等应用场景。 提交，确保数据强一致性有少数副本发生故障时不影响数据的可用性。可按需配置副本地理位 置、副本数量等策略满足不同容灾级别的要求。 钢 实时HTAP 提供行存储引擎 TiKV、列存储引擎 Tiflash 两款存储引擎，Tiflash 通过 Multi-Raft Learner 协议 实时从TiKV 复制数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、 Tiflash 可按需部署在不同的机器，解决