⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage

基础 I/O 流 常用 I/O 流类型 I/O 应用 Java 应用与开发 高级 I/O 编程 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 October 29, 2018 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 学习目标 1. 深入理解 Java 的 I/O 原理 2. 掌握 Java 基本 I/O 流类型 3 I/O 流 常用 I/O 流类型 I/O 应用 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 ���� Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 数据宿（Data Sink） ▶ 流（Stream） Java 中把不同的数据源与程序间的数据传输都抽象表述为 流，java.io 包中定义了多种 I/O 流类型实现数据 I/O 功能。 大纲 Java I/O 原理 基础 I/O 流 常用 I/O 流类型 I/O 应用 Java I/O 流的分类 O 按照数据流动的方向 Java 流可分为输入流（Input Stream）和输出流（Output Stream）。

README 1 命令语法 2 描述/概览 3 详细说明 4 流的选择（指定） 5 选项 6 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 22 命令语法 2 描述/概览 3 详细说明 4 流的选择（指定） 5 选项 技巧/提示（原版已废弃） 6 例子 7 语法 8 表达式计算/求值 9 OpenCL选项 10 编码选项 11 解码器 12 视频解码 13 音频解码 14 字幕解码 15 编码 16 音频编码器 17 视频编码器 18 字幕编码器 19 比特流滤镜（过滤器） 20 格式选项 21 分离器（解复用） 从任意数量/形式的输入文件中进行读取（可以是普通文件，管道，网络流，设备源等 等），通过输入文件选项对输入文件进行设定，通过 -i 进行标记，并写入到任意数量/形式的输出 文件中，任何在命令行中不能被解释为选项的字符串信息（当然也不是被 -i 指定为输入文件的信 息）都被作为一个输出文件。 原则上每个输入或输出文件都可包含数量不同的数据流（视频/音频/字幕/附件/数据….）,具体文件 中包含

Streams 流.................................................................................................................................................................. 7 Readable Stream 只读流........ .............................................................................. 7 Writable Stream 可写流.................................................................................................... .................................................................................40 net.Stream TCP 流模块..................................................................................................

sourceStart=0, sourceEnd=buffer.length) o buffer.slice(start, end=buffer.length)  Streams 流  Readable Stream 可读流 o Event: 'data' 事件：'data' o Event: 'end' 事件：'end' o Event: 'error' 事件：'error' o stream.destroy() o stream.destroySoon() o stream.pipe(destination, [options])  Writable Stream 可写流 o Event: 'drain' 事件：'drain' o Event: 'error' 事件：'error' o Event: 'close' 事件：'close' o Event: Control-C 命令操作。 process.stdout A Writable Stream to stdout. 一个指向标准输出 stdout 的 Writable Stream 可写流。 Example: the definition of console.log 示例：console.log 的定义。 console.log = function (d) { process

Netty堆外内存泄露排查盛宴 32 ...................................................................... Oceanus：美团HTTP流量定制化路由的实践 47 ...................................................................... UAS-点评侧用户行为检索系统 b. 过滤性能问题 城市的过滤逻辑大体是这样：用户所在城市与从数据库获取到的城市列表（“1,2,3,4…… ”）进行匹配， 在每次匹配过程中都需要做字符串“split”的切割操作。这种操作的特点是流量越大，对机器CPU的消耗 越大。 解决方案：基于以上两点考虑，再结合Java语言提供的BitSet机制。我们从数据库里取出城市列表数据后 只做一次“split”切割操作，将数据转化为BitSe 通过SDK的配置总数监控，防止数量超过最大限制。 同时，对于非SDK的其他性能指标，我们采用统一的监控平台– CAT  进行监控，其中包括：APPKIT中 心服务的调用QPS，机器的性能，网络流量等通用指标。 五、底层模型–灵活性设计 五、底层模型–灵活性设计 5.1 从一个例子切入 5.1 从一个例子切入 数据模型往往与业务相关。业务越复杂，设计需要越简单，这样方能满足复杂业务的各种变化。因为数据

对象还可以拥有与其它对象的运行时连接 上述对象 对 象关系建模成类之间的关联 元素之间的一些关系用依赖来分组 包括抽象层次的转移 模板参数的绑定 许可的授予和元素对其它元素的使用 其它关系包括用例和流的合并 静态视图显示为类图 静态视图可以用于产生大多数程序中的数据结构声明 ��� 类图中 有许多种元素 如接口 数据类型 用例和信号 它们合在一起被称为分类 它们的举止 如同具有某种限制的类 � 对象依照当前状态对事件响应 执行动作 迁移至新状态 状态机在状态 图中显示 � 相互交互对象的系统视图是一种协作 即依赖上下文的对象和互相之间链的视图 连同 对象间数据链上的消息流 该视点在单张视图中统一了数据结构 控制流和数据流 协作 和交互在顺序图和协作图中表达 指导所有行为视图的是一系列用例 用例展示了活动者 系统的外部使用者所见的一部分系统功能 � 实现构造 实现构造 实现构造 实现构造 ��� 参考指南� � ��� 一览� ������� � 活动视图 活动视图 活动视图 活动视图� 活动视图是用于显示执行某个计算过程中的运算活动的状态机的一种变形 活动状态表 现了一项活动 工作流的步骤或操作的执行 活动图描述了顺序和并发活动分组 活动视 图表达为活动图 � 图 ��� 显示了票房例子中的活动图 该图展示了放映一场演出所包含的活动 箭头表示 时间上的依赖 例如 指定演出时间表前

. . . . . . . . . . . . . . . . . . . 169 13.1.2 Java I/O 流的分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 13.2 基础 I/O 流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.2.6 Writer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 13.3 常用 I/O 流类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 13.3.1 FileInputStream/FileOutputStream 关闭连接文件的 PrintWriter 输出流 18 } catch (IOException e) { 19 e.printStackTrace(); 20 } 21 } 22 } 对上述代码的几点说明如下： 1. 写文件时如果目标文件不存在，程序运行不会出错，而是自动创建该文件，但如 果目标路径不存在，则会出错。 2. 写文件操作结束后一定要关闭输出流，即关闭文件，否则被操作文件仍处于打开

天⽣生异步的架构 流 Stream / Flow / Flux 什什么是流 • ⼀一个流是顺序串串⾏行行执⾏行行的 • 多个流之间才可能是并⾏行行的 Your Mouse is a Database! — Erik Meijer 流定义 • ⾯面向数据 • 操作、组合 ⾯面向流 • 业务逻辑 → 数据变换 • 数据变换 → 业务逻辑 数据 vs 逻辑 ⾯面向流编程是 ⾯面向数据编程 ⾯面向数据编程 流式架构 流 分布式 性能 并发控制 业务编写 流 - 业务编写 创建 just / from* / range / repeat /interval / timer 过滤 filter / take / skip / distinct sample / debounce / throttle 转换 map / buffer / window flatMap(service::batchOps) 流 - 并发控制 切过 Scheduler是指： • 远程调⽤用已经异步化，所以是已经且过 Scheduler • 可以⼿手⼯工切 Scheduler (subscribeOn / observeOn) 业务顺序编写 并发⽅方式执⾏行行 • 不不同的流 • ⽆无依赖 • 切过 Scheduler 就可以⾃自动并发 多流并发 • 业务按照语义顺序编写

链 链应 应 应用 用 用开 开 开发 发 发组 组 组件 件 件 729 i 23 整 整 整体 体 体架 架 架构 构 构 735 24 区 区 区块 块 块链 链 链交 交 交易 易 易流 流 流程 程 程 741 25 数 数 数据 据 据结 结 结构 构 构与 与 与编 编 编码 码 码协 协 协议 议 议 747 26 核 核 核心 心 心模 模 模块 块 块设 设 设计 计 计解 约 约：区块链底层内置C++语言编写的Precompiled合约，执行效率更高。 • 交 交 交易 易 易并 并 并行 行 行执 执 执行 行 行：基于DAG算法根据交易间互斥关系构建区块内交易执行流，最大化并行执行区块 内的交易。 • 交易生命周期的异步并行处理：共识、同步、落盘等各个环节的异步化以及并行处理。 1.5 安 安 安全 全 全性 性 性 考虑到联盟链的高安全性需求，除了节点之 新增预编译合约，地址0x7，实现椭圆曲线alt_bn128的乘法 • 新增预编译合约，地址0x8，实现椭圆曲线配对操作用于zkSNARK验证 • 新增预编译合约，地址0x9，实现blake2哈希函数 • 新增流控功能，实现可配置节点出带宽、最大QPS • 新增ChainGovernance预编译合约，地址0x1008，实现基于角色的权限管理 • 新增SDK连接节点支持国密SSL，可配置是否启用 • 新增账号管理可冻结解冻私钥对应的账号