Flink如何实时分析Iceberg数据湖的CDC数据 阿里巴巴 李/松/胡争 23选择 Flink Ic+b+1g #2 常DCCDC 分析方案 #1 如3实时写 4F取 ## 未来规划 #4 #见的CDC分析方案 #1 离线 HBase 集u分析 CDC 数a 、CDC记录实时写入HBase。高吞P + 低延迟。 2、小vSg询延迟低。 3、集u可拓展 ci评C ci评C B点 、行存o引不适O分析A务。 2、HBase集ur护成e较高。 3、通过Re12o4Server定DHF23e， ServerlB化Rs存完H用不上。 4、数a格式q定HF23e，不cF拓展到 +arquet、Avro、Orcn。 t点 A3a/21 Kudu 维护 CDC 数据p 、支持L时更新数据，时效性佳。 2、CK加速，适合OLAP分析。 方案评估 优点 、cedKudup群，a较小众。维护 O本q。 2、H HDFS / S3 / OSS 等D裂。数据c e，且KAO本不如S3 / OSS。 3、Kudud批量P描不如3ar4u1t。 4、不支持增量SF。 h点 直接D入CDC到Hi2+分析 、流程能E作 2、Hi2+存量数据不受增量数据H响。 方案评估 优点 、数据不是CR写入； 2、每次数据D致都要 MERGE 存量数据 。T+ 方GT新3R效性差。 3、不M持CR1ps+rt。

⾼性能⾼可⽤机票实时搜索系统 去哪⼉⺴ 梁启康 议题 系统诉求 海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + 设计思路路 • 最理理想的⽅方式 • 所有的报价都实时计算，填充好 • ⼀一个巨⼤大的哈希表 • 响应所有渠道价格变动进⾏行行计算 • 快 • 0 变价 设计思路路 CAP BASE 理理论 按需计算 消息驱动 异步 分布式 分级缓存 • 缩短对象驻留留内存时间，减少gc次数，优化单机吞吐 • 数据交换采⽤用protobuf + gzip处理理 • jit、预热 回顾 • ⽔水平分层，纵向分渠道，良好的扩展性 • 实时计算 + 阶梯式缓存，成本与报价新鲜度的权衡 • 闭环系统 • 索引库数据同步 • 本地缓存的设计，更更新策略略 • 缩减对象内存 • ⼀一致性哈希负载均衡 ⼼心得 • 不不同的业务场景，不不同的特征

海尔实时计算平台技术选型与实践 海尔电器－肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm zeppelin Saiku Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 代码埋点： • 优点：采集能力强 • 缺点：时间、人力成本大 实时数据采集－数据如何获取？ 可视化埋点： • 优点：成本低，速度快 • 缺点：行为记录信息少，支持的分析方式少 • Flume 日志收集可选技术 • Fluentd •

Conf 2021 – 2022, Online, China 姜剑峰 Rust API可靠性分析与验证 Rust China Conf 2021 – 2022, Online, China 主题内容 • Rust第三方库API可靠性现状 • 现用方法的局限性 • 基于程序合成+模糊测试的可靠性分析方法 Rust China Conf 2021 – 2022, Online, China 本（2019）硕（2022）毕业于复旦大学 • 目前在蚂蚁集团安全计算部门开发应用于机密计算的Rust系统软件 • 研究生期间主要从事Rust测试与验证工具的研究，本人所在的是国内最早 开展Rust程序分析相关研究的实验室（https://artisan-lab.github.io） • 我们关于Rust库模糊测试的论文 RULF: Rust Library Fuzzing via API Dependency China Conf 2021 – 2022, Online, China 现有的可靠性分析方法及其局限性 模糊测试(afl.rs, libfuzzer)：分支覆盖率；用例程序的构造 符号执行(klee, angr)：路径爆炸；求解困难 静态分析(MirChecker, Rudra, SafeDrop)：分析特定问题；假阳性 形式化验证(RustBelt)：无法方便的验证第三方库 其他工具（Miri等）…

2024 年 3 月 DataEase 嵌入式分析 DataEase 可以帮助用户快速分析业务数据并洞察其趋势，从而实现业 务的改进与优化。DataEase 支持丰富的数据源连接，能够通过拖拉 拽的方式快速制作图表，并且可以方便地与他人进行分享。 人 人 可 用 的 开源数据可视化分析工具 什么是 DataEase ？ DataEase v2 的不同版本对比 版本类型 社区版 嵌入式版 嵌入式版 企业版 目标群体 任何用户 ISV / 系统集成商 最终客户 产品功能 社区版功能 社区版功能 + X-Pack 部分功能 （含嵌入式分析能力） 注：单数据集限制 10 万行数据。 社区版功能 + X-Pack 所有功能 （含嵌入式分析能力） 注：数据集无行数限制。 销售方式 社区分发 免费使用 线上销售 / 线下推广 标准化合同模板 线下推广 线下商务流程 授权方式 原厂企业级技术支持服务 （基础级，5×8；增强级，7×24） 1 2 嵌入式分析可以给 ISV 带来哪些价值？ 3 DataEase 嵌入式分析的方案 4 DataEase 嵌入式分析的优势 在线体验 & 嵌入流程介绍 什么是嵌入式分析 ？ 嵌入式分析是可以嵌入在商业应用程序中，为应用软件提供或者增强分析功能的专业 BI 软件。 Embedding analytics and data

基于静态分析的Rust内存安全缺陷检测研究 报告人：徐辉 报告日期：2022.11.25 复旦大学 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 Rust语言 ❑ 系统级安全编程语言 ▪ 内存安全 ▪ 并发安全 ▪ 效率 2006年 2011年 手动释放内存或调用析构函数 ▪ 函数返回时发生的自动析构或内存释放 ❑ Rust设计的目标之一是编译时检查指针别名（共享可变引用） ▪ 但一般意义上的指针分析是NP-hard问题 ▪ 智能指针可行，但作为运行时方案，效率低 ▪ Rust在语法设计中引入所有权机制，简化指针分析问题 Rust所有权模型 => XOR Mutability ❑ 一个对象有且只有一个所有者 ❑ 所有权可以转移给其它变量 ▪ 用完不用还 Memory Reclaim问题：示例1 创建一个临时字符串s 通过unsafe将v指向临时内存 返回v 自动析构s，造成悬空指针v 访问v造成use-after-free 从Rust MIR分析Auto Memory Reclaim问题 _1 = const > ::from(const "a

2023 年 6 ⽉ ⼈⼈可⽤的开源数据可视化分析⼯具 数据可视化对企业的价值 DataEase 开源项⽬介绍 DataEase 模板市场 DataEase 企业版介绍 1 2 3 4 可视化 原始数据 数据价值 数据孤岛 管理混乱 缺失分析 全业务场景 ⽤户⾏为管理 数据驾驶舱 数据→信息→价值 可以为企业运营 带来直接收益 数据可视化对企业的价值 能够快速、⾼效地 能够快速、⾼效地 提供体验良好的数 据展现⼿段，通过 分析数据资产的质 量，助⼒企业做出 更加准确的业务策 略。 前端业务⼈员 数据管理⼈员 企业管理者 IT 建设⼈员 提供多种数据使⽤ 模式，提供更为丰 富、安全的数据管 理⼿段，有助于企 业内部进⾏更为⼴ 泛的数据整合与分 析，并由此创造数 据价值。 能够合理评估、规 范 和 洞 察 企 业 信 息，洞悉企业发展 趋 势 ， 在 有 效 管 理 IT 投资和降本 稳定性、性能 4 数据分析能⼒ 5 采购成本 6 服务⽀持 7 ⼚商实⼒ ⼈⼈可⽤ 企业选择数据可视化⼯具的考量 数据可视化对企业的价值 DataEase 开源项⽬介绍 DataEase 模板市场 DataEase 企业版介绍 1 2 3 4 DataEase可以帮助⽤户快速分析业务数据并洞察其趋势，为企业的业 务改进与

对话交互的价值：在哪儿/在那儿 • 行业早期，价值待验证 • “能帮我把转化率提升50%吗？” • 需求界定师：砍掉不合实际的需求 • “能不能把我的销售、客服全换成机器人？” • “能不能通过分析上课视频，来解答学生的问题？” • 对话设计师：怎么更优雅地达到目的 • “公交车上你会给老人让座吗？” • 做能做且有价值的事，努力把不能做的事变成可做的 Thanks 爱因互动，欢迎你的加入

基于go和flutter的实时通信/视频直播解决方案 段维伟 湖北捷智云技术有限公司 创始人 目 录 背景 01 技术简介 02 客户端 03 服务端 04 开源社区 05 Q&A 06 背景 第一部分 即将讲述的内容 • WebRTC 实时通讯 • Flutter 跨平台UI 开发框架 • 基于Flutter UI 框架的WebRTC 插件 flutter-webrtc 语言的WebRTC 协议栈 pion/webrtc • 基于pion/webrtc 的应用级服务框架 pion/ion • 5G 时代, 实时通讯应用爆发 • 疫情影响，全世界都在使用远程教育，远程办公 • 云游戏，机器人，VR，直播等 • 如何用最容易的方案实现实时通讯 • 漂亮的app，最好全部(mobile, web, desktop)平台都支持. • 最容易使用的后端技术 真实世界的需求点 技术简介 第二部分 WebRTC 是什么 01. • 由 Google 发起的基于浏览器通讯标准 • 基于收购来的 GIPS (6800万美金)的高质量实时音视频引 擎 • 支持主流浏览器主流移动设备 • 历时十年成为Web 实时通讯标准 • RTMP 直播协议的低延迟替代方案 WebRTC 可以做什么 02. 副标题 • 用实现网页音/视频通话 • 低延迟直播系统(在线课堂)