Tensor维度变换 主讲人：龙良曲 Operation ▪ View/reshape ▪ Squeeze/unsqueeze ▪ Transpose/t/permute ▪ Expand/repeat 2 View reshape ▪ Lost dim information 3 Flexible but prone to corrupt 4 Squeeze v.s. unsqueeze

基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9 备主要来自 NVIDIA 的 GPU 显卡， 图 1.12 例举了从 2008 年到 2017 年 NVIDIA GPU 和 x86 CPU 的每秒 10 亿次的浮点运算数 (GFLOPS)的指标变换曲线。可以看到，x86 CPU 的曲线变化相对缓慢，而 NVIDIA GPU 的浮点计算能力指数式增长，这主要是由日益增长的游戏计算量和深度学习计算量等业务 驱动的。 预览版202112 1.3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.1.1 统计工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.1.2 训练 . 10.2 填充、步幅和多通道 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614 13.10.3 与矩阵变换的联系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615 13.11 全卷积网络 . . . 微调BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 738 16 附录：深度学习工具 741 16.1 使用Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公 Python模块-NumPy 广播 62 Python模块-Pandas ⚫Pandas Pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而 创建的。 Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型 数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 提供了许多的操作NumPy的数组的函数。 SciPy是一款方便、易于使用、专为科学和 工程设计的Python工具包，它包括了统计 、优化、整合以及线性代数模块、傅里叶 变换、信号和图像图例，常微分方差的求 解等 scipy.cluster 向量量化 scipy.constants 数学常量 scipy.fftpack 快速傅里叶变换 scipy.integrate 积分 scipy.interpolate 插值

1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公 Python模块-NumPy 广播 63 Python模块-Pandas ⚫Pandas Pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而 创建的。 Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型 数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 提供了许多的操作NumPy的数组的函数。 SciPy是一款方便、易于使用、专为科学和 工程设计的Python工具包，它包括了统计 、优化、整合以及线性代数模块、傅里叶 变换、信号和图像图例，常微分方差的求 解等 scipy.cluster 向量量化 scipy.constants 数学常量 scipy.fftpack 快速傅里叶变换 scipy.integrate 积分 scipy.interpolate 插值

. . . . . . . . . . . . . . . . . . . . 233 18 可视化 Visualization 234 19 Scikit-learn API 235 20 工具 236 20.1 CustomObjectScope [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 (如果你计划在 GPU 上运行 Keras，建议安装)。 • HDF5 和 h5py (如果你需要将 Keras 模型保存到磁盘，则需要这些)。 • graphviz 和 pydot (用于可视化工具绘制模型图)。 然后你就可以安装 Keras 本身了。有两种方法安装 Keras： • 使用 PyPI 安装 Keras (推荐)： sudo pip install keras 如果你使用 =None, kernel_constraint=None, bias_constraint=None) 转置卷积层 (有时被成为反卷积)。 对转置卷积的需求一般来自希望使用与正常卷积相反方向的变换，即，将具有卷积输出尺 寸的东西转换为具有卷积输入尺寸的东西，同时保持与所述卷积相容的连通性模式。 当使用该层作为模型第一层时，需要提供 input_shape 参数（整数元组，不包含 样本表示的轴）

Scikit-learn概述 Scikit-learn是基于NumPy、 SciPy和 Matplotlib的开源Python机器学习 包,它封装了一系列数据预处理、机器学习算法、模型选择等工具,是数 据分析师首选的机器学习工具包。 自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了， scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学 符号标记 2.Scikit-learn主要用法 y_train | 训练集标签. y_test | 测试集标签. y | 数据标签. 8 2.Scikit-learn主要用法 导入工具包 from sklearn import datasets, preprocessing from sklearn.model_selection import train_test_split from 输入，前提是 数据必须是数值型的 ✓sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾 花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一 些toy data如S型数据等的生成工具 from sklearn.datasets import load_iris iris = load_iris() X = iris.data y = iris.target

(数据流图) 创建会话 (运行环境) 训练模型 数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数 据结构化和数据分析工具。 数据框（Data Frame）是一个二维带标记的数据结构，每列（column）数据类型 可以不同。我们可以将其当作电子表格或数据库表。 数据读入 pandas.read_csv 方法实现了快速读取 matplotlib的 Python 数据可视化库。它提供了更易用的高级接口，用 于绘制精美且信息丰富的统计图形。 mpl_toolkits.mplot3d 是一个基础 3D绘图（散点图、平面图、折线图等）工具集，也是 matplotlib 库的一部分。同时，它也支持轻量级的独立安装模式。 数据分析（2D） seaborn.lmplot 方法专门用于线性关系的可视化，适用于回归模型。 数据分析（2D） 是一个 BSD 开源协议许可的，面向 Python 用户的基础科学计算库，在多 维数组上实现了线性代数、傅立叶变换和其他丰富的函数运算。 X y 创建线性回归模型（数据流图） 创建会话（运行环境） 使用 TensorBoard 可视化模型数据流图 TensorBoard 可视化工具 在数据处理过程中，用户通常想要可视化地直观查看数据集分布情况。 在模型设计过程中，用户往往需要分析和检查数据流图是否正确实现。

Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29  PyTorch构建网络工具 torch.nn Module Linear Conv* *norm *Aative *Loss functional nn.Sequnce nn.Modelist forward 被自动的注册为参数。 autograd.Function-实现一个自动求导操作的前向和反向定义, 每个张量操作都会 创建至少一个Function节点，该节点连接到创建张量并对其历史进行编码的函数。 33 数据处理工具箱 34 4. 训练一个分类器 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 35 4. 训练一个分类器 训练一个分类器流程 从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。 37 4. 训练一个分类器 torch.nn 计算图和autograd是十分强大的工具，可以定义复杂的操作并自动求导；然而对 于大规模的网络，autograd太过于底层。 在构建神经网络时，我们经常考虑将

模式分类：SVM，Boosting，决策树， 子空间学习，度量学习: PCA/LDA，Manifold, LMNN, NCA….. 词典学习&稀疏编码 • 深度学习：多层神经网络对输入进行非线性变换的学习技术 鸟类 正常 SACC2017 深度学习 – 多层深度网络在学习什么 SACC2017 深度学习 – 解决问题的统一框架 1 SACC2017 深度学习 - 如何设计网络结构 节点心跳异常告警 • 运维工具化，快速屏蔽/启动异常机器 • 灵活的资源分配 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置 docker 镜像，完全自定义运行环 境 • 良好的用户体验 • 完善的客户端工具 • 任务进度微信提醒 SACC2017