⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage

深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 微博Feed流产品介绍—排序场景 Ø 信息获取方式 • 主动获取（关注） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… • 被动获取（推荐） Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3 72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 微博Feed流特点介绍—排序原因 Ø 产品特点 • 传播性强 Ø 存在问题 • 信息过载 • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 特征 目标 模型 效果 Ø CTR任务特点 Ø CTR预估常用算法 • LR • GBDT • FM • 大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 •

镜像 在 OpenShift Container Platform 中创建和管理镜像及镜像流 Last Updated: 2024-02-23 OpenShift Container Platform 4.14 镜像 在 OpenShift Container Platform 中创建和管理镜像及镜像流 法律通告 法律通告 Copyright © 2024 Red Hat, Inc. The are the property of their respective owners. 摘要 摘要 本文档介绍在 OpenShift Container Platform 中创建和管理镜像及镜像流。另外还介绍如何使用模 板。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目录 录 第 第 1 章 章 镜 镜像概述 像概述 1.1. 了解容器、镜像和镜像流 1.2. 镜像 1.3. 镜像 REGISTRY 1.4. 镜像存储库 1.5. 镜像标签 1.6. 镜像 ID 1.7. 容器 1.8. 为什么使用镜像流 1.9. 镜像流标签 1.10. 镜像流镜像 1.11. 镜像流触发器 1.12. 如何使用 CLUSTER SAMPLES OPERATOR 1

镜像 在 OpenShift Container Platform 中创建和管理镜像及镜像流 Last Updated: 2023-03-24 OpenShift Container Platform 4.7 镜像 在 OpenShift Container Platform 中创建和管理镜像及镜像流 Enter your first name here. Enter your surname are the property of their respective owners. 摘要 摘要 本文档介绍在 OpenShift Container Platform 中创建和管理镜像及镜像流。另外还介绍如何使用模 板。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目录 录 第 第 1 章 章 镜 镜像概述 像概述 1.1. 了解容器、镜像和镜像流 1.2. 镜像 1.3. 镜像 REGISTRY 1.4. 镜像存储库 1.5. 镜像标签 1.6. 镜像 ID 1.7. 容器 1.8. 为什么使用镜像流 1.9. 镜像流标签 1.10. 镜像流镜像 1.11. 镜像流触发器 1.12. 如何使用 CLUSTER SAMPLES OPERATOR 1

OpenShift Container Platform 4.2 中创建和管理镜像及镜像流 Last Updated: 2020-08-21 OpenShift Container Platform 4.2 镜像 在 OpenShift Container Platform 4.2 中创建和管理镜像及镜像流 法律通告 法律通告 Copyright © 2020 Red Hat, Inc. the property of their respective owners. 摘要 摘要 本文档介绍在 OpenShift Container Platform 4.2 中创建和管理镜像及镜像流。另外还介绍如何使用 模板。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . REGISTRY 的 SAMPLES OPERATOR 镜像流 第 第 3 章 章 了解容器、 了解容器、镜 镜像和 像和镜 镜像流 像流 3.1. 镜像 3.2. 容器 3.3. 镜像 REGISTRY 3.4. 镜像存储库 3.5. 镜像标签 3.6. 镜像 ID 3.7. 使用镜像流 3.8. 镜像流镜像 3.9. 镜像流触发器 3.10. 其它资源 第 第 4 章 章 创 创建 建镜

基础 I/O 流 常用 I/O 流类型 I/O 应用 Java 应用与开发 高级 I/O 编程 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 October 29, 2018 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 学习目标 1. 深入理解 Java 的 I/O 原理 2. 掌握 Java 基本 I/O 流类型 3 I/O 流 常用 I/O 流类型 I/O 应用 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 ���� Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 数据宿（Data Sink） ▶ 流（Stream） Java 中把不同的数据源与程序间的数据传输都抽象表述为 流，java.io 包中定义了多种 I/O 流类型实现数据 I/O 功能。 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 Java I/O 流的分类 O 按照数据流动的方向 Java 流可分为输入流（Input Stream）和输出流（Output Stream）。

README 1 命令语法 2 描述/概览 3 详细说明 4 流的选择（指定） 5 选项 6 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 命令语法 2 描述/概览 3 详细说明 4 流的选择（指定） 5 选项 技巧/提示（原版已废弃） 6 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 从任意数量/形式的输入文件中进行读取（可以是普通文件，管道，网络流，设备源等 等），通过输入文件选项对输入文件进行设定，通过 -i 进行标记，并写入到任意数量/形式的输出 文件中，任何在命令行中不能被解释为选项的字符串信息（当然也不是被 -i 指定为输入文件的信 息）都被作为一个输出文件。 原则上每个输入或输出文件都可包含数量不同的数据流（视频/音频/字幕/附件/数据….）,具体文件 中包含

OpenShift GitOps 是一个使用 Argo CD 作为声明性 GitOps 引擎的 Operator。它启用了多集群 OpenShift 和 Kubernetes 基础架构的 GitOps 工作流。使用 OpenShift GitOps，管理员可以在集群和开 发生命周期中一致地配置和部署基于 Kubernetes 的基础架构和应用程序。 如需更多信息，请参阅关于 Red Hat OpenShift 构建生成的对象取决于用于创建它的构建器（builder）。对于 docker 和 S2I 构建，生成的对象为可运行 的镜像。对于自定义构建，生成的对象是构建器镜像作者指定的任何事物。 此外，也可利用管道构建策略来实现复杂的工作流： 持续集成 持续部署 2.1.1.1. Docker 构 构建 建 OpenShift Container Platform 使用 Buildah 从 Dockerfile 构建容器镜像。有关使用 策略构建提供 Dockerfile。 2.3.3. 镜像源 您可以使用镜像向构建过程添加其他文件。输入镜像的引用方式与定义 From 和 To 镜像目标的方式相 同。这意味着可以引用容器镜像和镜像流标签。在使用镜像时，必须提供一个或多个路径对，以指示要复 制镜像的文件或目录的路径以及构建上下文中要放置它们的目的地。 源路径可以是指定镜像内的任何绝对路径。目的地必须是相对目录路径。构建时会加载镜像，并将指定的

Streams 流.................................................................................................................................................................. 7 Readable Stream 只读流........ .............................................................................. 7 Writable Stream 可写流.................................................................................................... .................................................................................40 net.Stream TCP 流模块..................................................................................................

sourceStart=0, sourceEnd=buffer.length) o buffer.slice(start, end=buffer.length)  Streams 流  Readable Stream 可读流 o Event: 'data' 事件：'data' o Event: 'end' 事件：'end' o Event: 'error' 事件：'error' o stream.destroy() o stream.destroySoon() o stream.pipe(destination, [options])  Writable Stream 可写流 o Event: 'drain' 事件：'drain' o Event: 'error' 事件：'error' o Event: 'close' 事件：'close' o Event: Control-C 命令操作。 process.stdout A Writable Stream to stdout. 一个指向标准输出 stdout 的 Writable Stream 可写流。 Example: the definition of console.log 示例：console.log 的定义。 console.log = function (d) { process