Oracle 白皮书 2011 年 1 月 通过 Oracle 并行处理集成 Hadoop 数据 1 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 Hadoop 集群里的数据。请注 意，本文选择了 Hadoop 和 HDFS 作为示例，但这里的策略同样适用于其他分 布式存储机制。本文中介绍了各种访问方法，还通过一个具体示例说明了其中一 种访问方法的实现。 2 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据，最简单的方法莫过于使用 外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据，并且可在 SQL 查询中完全透明地使用。 因此，可以考虑用外部表从 Oracle 数据库中直接访问 HDFS（Hadoop 文件系统）中存储的 数据。遗

异常的概念及分类 Java 异常处理机制 Java 应用与开发 异常处理 王晓东 wangxiaodong@ouc.edu.cn 中国海洋大学 October 30, 2018 大纲 异常的概念及分类 Java 异常处理机制 学习目标 1. 掌握 Java 异常的概念和分类 2. 深入理解 Java 异常处理机制 大纲 异常的概念及分类 Java 异常处理机制 大纲 异常的概念及分类 Java 异常处理机制 大纲 异常的概念及分类 Java 异常处理机制 C++ 中的异常处理 O 《The C++ Programming Language》 ▶ 一个库的作者可以检测出发生了运行时错误，但一般不知道 怎样去处理它们（因为和用户具体的应用有关）； ▶ 另一方面，库的用户知道怎样处理这些错误，但却无法检查 它们何时发生（如果能检测，就可以再用户的代码里处理 了，不用留给库去发现）。 了，不用留给库去发现）。  提供异常处理机制的的基本思想 让一个函数在发现了自己无法处理的错误时抛出（throw）一个 异常，然后它的（直接或者间接）调用者能够处理这个问题。 O 《C++ primer》 将问题检测和问题处理相分离。 (Exceptions let us separate problem detection from problem resolution.) 大纲 异常的概念及分类

Golang在工程实践中的错误处理 彭友顺 石墨文档 产研负责人 目 录 为什么我们处理错误会这么慢 01 如何完善错误信息 02 优雅处理错误信息 03 分布式错误处理 04 错误信息手册的必要性 05 为什么我们处理错误 会这么慢 第一部分 错误信息不够完善 why 原因 出现 错误 定位 慢 恢复 慢 效率低 为什么我们处理错误会这么慢 错误处理不够优雅 分布式错误难以串联 对接起来会非常麻烦 优雅处理错误信息 第三部分 为什么定位慢？-- 错误处理 不要透传错误 错误码唯一性 记录一次错误 假设用户反馈了无法打开一个文件 我们的程序员非常认真 记录了文件不存在的错误日志 • 同样的错误信息，非常多的杂音 • 每个Error，都去查看一次对应代码，排查效率低 • 占用存储空间 • 最外层入口处只记录一次错误日志 为什么定位慢？-- 错误处理 带来新的问题，无法定位整个代码执行链路 日志分析不出是哪个service 调用了MySQL 为什么定位慢？-- 错误处理 带来新的问题，无法定位整个代码执行链路 不要透传错误 错误码唯一性 记录一次错误 • 不能透传错误，fmt.Errorf • 如果不考虑性能 • 日志开启Stack • 错误追加Stack 为什么定位慢？-- 错误处理 不要透传错误 错误码唯一性 记录一次错误 文件不存在 数据表里不存在

Rust并行编译的挑战与突破 李原 2022年5月28日 • 相关浅谈 • Rust并行编译的挑战与突破 • 从并行编译到并行程序设计 • Rust社区与并行编译 目录 相关浅谈 Rust编译速度之殇 编译器设计造成编译速度缓慢 · 单态化 · 借用检查 · 宏展开 · MIR优化 ... Rust规模编译速度慢于C++ Rust编译速度之殇 提升编译效率成为近年社区重点工作 提升编译效率成为近年社区重点工作 并行编译或成下一代编译效率突破利器 2017-2021，Rust编译速度已提升一倍以上 Rust社区编译器性能工作组 Rust编译器并行化 Cargo多crate并行 二进制生成并行 更多更好的并行化？ Rust编译器架构 语法树生成 宏展开 命名解析 泛型解析 类型检查 借用检查 单态化 二进制生成 增量编译系统 底层数据 结构 Rust语言编译器结构总览 考虑内部编译流程并行化 考虑内部编译流程并行化 Rust并行并发 编译时线程安全检查 一些常见线程安全数据结构 常用Rust并行并发库 Rust并行并发 增加程序复杂度 线程安全数据结构造成效率损失 Mutex与RwLock rustc profileing 数据 · 代码复杂度及健壮性 · benchmark资源限制 · profileing成本 ... 收益 > 代价？ Rust并行编译的挑战与突破

TBB 开启的并行编程之旅 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 高性能并行编程与优化 - 课程大纲 • 分为前半段和后半段，前半段主要介绍现代 C++ ，后半段主要介绍并行编程与优化。 4.编译器如何自动优化：从汇编角度看 C++ 5.C++11 起的多线程编程：从 mutex 到无锁并行 6.并行编程常用框架： OpenMP 与 Intel TBB 7.被忽视的访存优化：内存带宽与 cpu 缓存机制 8.GPU 专题： wrap 调度，共享内存， barrier 9.并行算法实战： reduce ， scan ，矩阵乘法等 10.存储大规模三维数据的关键：稀疏数据结构 位时代过去了） 至少 2 核 4 线程（并行课…） 英伟达家显卡（ GPU 专题） 软件要求： Visual Studio 2019 （ Windows 用户） GCC 9 及以上（ Linux 用户） CMake 3.12 及以上（跨平台作业） Git 2.x （作业上传到 GitHub ） CUDA Toolkit 10.0 以上（ GPU 专题） 第 0 章：从并发到并行 摩尔定律：停止增长了吗？

7 1.8 1.8.1 1.9 ⽬录 前⾔ FFmpeg概览 FFmpeg相关 FFmpeg安装 ⾳频处理 提取⾳频⽚段 视频处理 视频属性 获取 调整 尺⼨调整 动图gif 视频转动图 动图转视频 ⽔印 去除⽔印 提取⾳频 字幕处理 背景知识 字幕分类 字幕格式 编辑字幕 Aegisub 提取字幕 转换字幕 嵌⼊字幕 指定字幕位置 指定字幕⽂字属性 强⼤的⾳视频处理⼯具：FFmpeg 最新版本： v1.0 更新时间： 20210914 简介 介绍⾳视频处理⼯具FFmpeg有哪些强⼤的功能。先对ffmpeg进⾏概览， 包括可以⽤来⼲什么，与之相关的ffprobe、ffplay、ffserver等⼯具；再介 绍如何安装ffmpeg；如何⽤ffmpeg处理⾳频，⽐如从⾳频中提取某段⾳频 ⽚段；以及各种视频处理，包括视频属性的获取和调整，包括调整视频宽 ⽚段；以及各种视频处理，包括视频属性的获取和调整，包括调整视频宽 ⾼尺⼨⼤⼩；以及动图gif处理，包括视频转动图、动图转视频；以及⽔印 处理，包括去除视频⽔印；从视频中提取完整⾳频和⾳频⽚段；字幕相关 处理，包括字幕的背景知识，包括软字幕和硬字幕、常⻅字幕格式ass和 srt；以及如何⽤Aegisub编辑字幕；从视频中提取字幕、从srt转换出ass 字幕；嵌⼊字幕，包括⽤流拷⻉模式嵌⼊软字幕、⽤vf模式烧录嵌⼊硬字 幕、且

1.1 2. FFmpeg概览 1.2 1. FFmpeg相关 1.2.1 3. FFmpeg安装 1.3 4. 音频处理 1.4 1. 提取音频片段 1.4.1 5. 视频处理 1.5 1. 视频属性 1.5.1 1. 获取 1.5.1.1 2. 调整 1.5.1.2 1. 尺寸调整 1 视频转动图 1.5.2.1 2. 动图转视频 1.5.2.2 3. 水印 1.5.3 1. 去除水印 1.5.3.1 4. 提取音频 1.5.4 6. 字幕处理 1.6 1. 背景知识 1.6.1 1. 字幕分类 1.6.1.1 2. 字幕格式 1.6.1.2 2. 编辑字幕 1.6.2 1. Aegisub 3 强大的音视频处理工具：FFmpeg 最新版本： v1.0 更新时间： 20210914 简介 介绍音视频处理工具FFmpeg有哪些强大的功能。先对ffmpeg进行概览，包括可以用来 干什么，与之相关的ffprobe、ffplay、ffserver等工具；再介绍如何安装ffmpeg；如何用 ffmpeg处理音频，比如从音频中提取某段音频片段；以及各种视频处理，包括视频属 性的获

1 1.6.1.1 1.6.1.2 目录 前言 FFmpeg概览 FFmpeg相关 FFmpeg安装 音频处理 提取音频片段 视频处理 视频属性 获取 调整 尺寸调整 动图gif 视频转动图 动图转视频 水印 去除水印 提取音频 字幕处理 背景知识 字幕分类 字幕格式 1.6.2 1.6.2.1 1.6.3 1.6.4 1.6.5 1.6.5 强大的音视频处理工具：FFmpeg 最新版本： v1.0 更新时间： 20210914 简介 介绍音视频处理工具FFmpeg有哪些强大的功能。先对ffmpeg进行概 览，包括可以用来干什么，与之相关的ffprobe、ffplay、ffserver等工 具；再介绍如何安装ffmpeg；如何用ffmpeg处理音频，比如从音频中 提取某段音频片段；以及各种视频处理，包括视频属性的获取和调 获取和调 整，包括调整视频宽高尺寸大小；以及动图gif处理，包括视频转动 图、动图转视频；以及水印处理，包括去除视频水印；从视频中提取 完整音频和音频片段；字幕相关处理，包括字幕的背景知识，包括软 字幕和硬字幕、常见字幕格式ass和srt；以及如何用Aegisub编辑字 幕；从视频中提取字幕、从srt转换出ass字幕；嵌入字幕，包括用流拷 贝模式嵌入软字幕、用vf模式烧录嵌入硬字幕、且可以指定字幕位

Java Chassis通信处理详解 通信优化实践 议题  问题不挑战  整体线程模型  Consumer  Producer 问题不挑战 消费者 编程 模型 透明 RPC Spring MVC Transport Highway Vertx REST Servlet REST 生产者 编程 模型 透明 业务线程 Eventloops Executor 线程 …… 线程 队列 Executor 线程 …… 线程 队列 …… Consumer 消费端，主要需要处理的问题是如何更 高效地将请求推送到对端去，然后拿到 应答信息。 透明RPC Consumer业务线程 Consumer Eventloop 连接 业务线程 hello 业务线程 Socket.write(composite buffer) Producer  丌同于消费者，生产者主要的工作就是等待消费者 的请求，在处理之后，返回应答 在这一端我们更加关注：“如何高效地接收和处理 数据”这件事情  同步模式下，业务逻辑不IO逻辑分离，且根据 “隔离仓”原则，为了保证整个系统更加稳定和高 效地运行，业务逻辑本身也需要在丌同的隔离的区

Flink 批处理理及其应⽤用 What is Apache Flink * Apache Flink 是⼀一个分布式⼤大数据处理理引擎 * 可对有限数据流和⽆无限数据流进⾏行行有状态计算 * 可部署在各种集群环境 * 对各种⼤大⼩小的数据规模进⾏行行快速计算 为什什么Flink能做批处理理 Table Stream Bounded Data Unbounded Data ⽣生态 实时计算 StreamC ompute 1 3 4 2 Flink 实时计算 商业化版本 阿⾥里里云实时计算产品⽅方向 存储计算分离 架构 ⾼高性能 全托管架构 全功能⼤大数据 处理理能⼒力力 Thanks