. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.1 导入 pytorch 6 1.2 导入样本数据 7 2 构建神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch 6 1.2 导入样本数据 7 本章节将神经网络训练之前的准备工作进行全面介绍。但我们并不介绍如何安装 pytorch，一是由 于不同版本的 pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1 tensor；而一些微分量，例如梯度、导数等也都是 tensor；矩阵也是张量；多张矩 阵或者多张图像也是张量（3 维张量）。我们在做实验时，可以将 tensor 理解为是“data”。 我们需要先导入 pytorch，顺便导入 numpy： import torch import numpy as np 现在我们尝试将 list 或者 np.array 转换为 pytorch 的数组： data1 =

这其中最重要的 成果就是误差反向传播算法(Back Propagation，简称 BP 算法)的提出，它依旧是现代深度学 习的核心理论基础。实际上，反向传播的数学思想早在 1960 年代就已经被推导出了，但是 并没有应用在神经网络上。1974 年，美国科学家 Paul Werbos 在他的博士论文中第一次提 出可以将 BP 算法应用到神经网络上，遗憾的是，这一成果并没有获得足够重视。直至 1986 为例，首先创建计算图，代码如下(以下代码需要提前安装 TensorFlow 1.x 框架和 PyTorch 框架，读者可不运行，感受为主)： import tensorflow as tf # 导入 TensorFlow 库 # 1.创建计算图阶段，此处代码需要使用 tf 1.x 版本运行 # 创建 2 个输入端子，并指定类型和名字 a_ph = tf.placeholder(tf 的神经网络算法有多艰难。这种先创建计算图后运行的编程方式叫做符号式编程。 作为对比，现在介绍动态图方式来完成2.0 + 4.0运算。PyTorch 实现代码如下： import torch # 导入 pytorch 库 # 1.创建输入张量，并赋初始值 a = torch.tensor(2.) b = torch.tensor(4.) # 2.直接计算，并打印结果 print('a+b='

pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 关的功能模块可以快速整合数据、构建与设计模型、实现模型 训练、导出与部署等操作。这些功能的相关模块主要有如下： 1）torch.nn 包，里面主要包含构建卷积神经网络的各种算子 操作，主要包括卷积操作（Conv2d、Conv1d、Conv3d）激 活函数、序贯模型 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 开头的一些包与功能，主要包括支持模型导出功能 的 torch.onnx 模块、优化器 torch.optim 模块、支持 GPU 训 练 torch.cuda 模块，这些都是会经常用的。 4）此外本书当中还会重点关注的 torchvison 0+cu102' 其中第一行表示导入 pytorch 的包支持，第二行表示版本查询， 第三行是执行结果（GPU 版本）。 现在很多开发者喜欢使用 Ubuntu 开发系统，在 Ubuntu 系统 下如下正确安装与配置 Pytorch，第一步同样是安装 python 语言依赖包 Python3.6，主要是执行一系列的安装命令行，具 体步骤如下： 1. 导入第三方软件仓库 sudo add-apt-repository

可以定义多维数组，进行切片、改变维度、 数学运算等 可以定义多维数组，进行切片、改变维度、数学运 算等 不同点 1、产生的数组类型为 numpy.ndarray； 2、会将ndarray放入 CPU中进行运算； 3、导入方式为import numpy as np，后续 通过np.array([1,2])建立数组； 4、numpy中没有x.type()的用法，只能使用 type(x)。 1、产生的数组类型为torch 在训练一个神经网络时，梯度的计算是一个关键的步骤，它为神经 网络的优化提供了关键数据。 但是在面临复杂神经网络的时候导数的计算就成为一个难题，要求 人们解出复杂、高维的方程是不现实的。 这就是自动求导出现的原因，当前最流行的深度学习框架如PyTorch 、Tensorflow等都提供了自动微分的支持，让人们只需要很少的工作 就能神奇般地自动计算出复杂函数的梯度。 PyTorch之自动梯度 20 32 3. 神经网络 torch.Tensor-支持自动编程操作（如backward()）的多维数组。同时保持梯度的张 量。 nn.Module-神经网络模块.封装参数,移动到GPU上运行,导出,加载等 nn.Parameter-一种张量,当把它赋值给一个Module时,被自动的注册为参数。 autograd.Function-实现一个自动求导操作的前向和反向定义, 每个张量操作都会

题的认真研究最近才进入高潮。我们希望随着深度学习理论的发展，这本书的未来版本将能够在当前版本无 法提供的地方提供见解。 有时，为了避免不必要的重复，我们将本书中经常导入和引用的函数、类等封装在d2l包中。对于要保存到包 中的任何代码块，比如一个函数、一个类或者多个导入，我们都会标记为#@save。我们在 16.6节 中提供了这 些函数和类的详细描述。d2l软件包是轻量级的，仅需要以下软件包和模块作为依赖项： #@save 码可能在PyTorch的未来版本无法正常工作。但是，我们计划使在线版本保持最新。如果读者遇到任何此类 问题，请查看安装 (page 9) 以更新代码和运行时环境。 下面是我们如何从PyTorch导入模块。 #@save import numpy as np import torch (continues on next page) 目录 5 (continued from previous 到的基本数值计算工具。如果你很难理解一 些数学概念或库函数，请不要担心。后面的章节将通过一些实际的例子来回顾这些内容。如果你已经具有相 关经验，想要深入学习数学内容，可以跳过本节。 首先，我们导入torch。请注意，虽然它被称为PyTorch，但是代码中使用torch而不是pytorch。 import torch 张量表示一个由数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）；

Google Cloud 上，通过 TensorFlow-Serving。 • 在 Python 网页应用后端（比如 Flask app）中。 • 在 JVM，通过 SkyMind 提供的 DL4J 模型导入。 • 在 Raspberry Pi 树莓派上。 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 你的 Keras 模型可以基于不同的深度学习后端开发。重要的是，任何仅利用内置层构建的 VGG19 • ResNet50 • Inception v3 • Inception-ResNet v2 • MobileNet v1 它们可以使用 keras.applications 模块进行导入： from keras.applications.xception import Xception from keras.applications.vgg16 import VGG16 from sqrt(word_frequency / sampling_factor) / (word_frequency / sampling_factor))) 我们假设单词频率遵循 Zipf 定律（s=1），来导出 frequency(rank) 的数值近似： frequency(rank) ~ 1/(rank * (log(rank) + gamma) + 1/2 - 1/(12*rank))， 其 中

符号标记 2.Scikit-learn主要用法 y_train | 训练集标签. y_test | 测试集标签. y | 数据标签. 8 2.Scikit-learn主要用法 导入工具包 from sklearn import datasets, preprocessing from sklearn.model_selection import train_test_split Scikit-learn主要用法 无监督学习算法-降维 sklearn.decomposition 模块包含了一系列无监督降维算法 from sklearn.decomposition import PCA 导入PCA库，设置主成分数量为3，n_components代表主成分数量 pca = PCA(n_components=3) 训练模型 pca.fit(X) 投影后各个特征维度的方差比例(这里是三个主成分)

scipy.org/doc/numpy/reference/ NumPy是什么？ 7 Anaconda里面已经安装过NumPy。 原生的Python安装： · 在cmd中输入 安装之后，我们用导入这个库 > import numpy as np NumPy的安装 > pip install numpy 8 2.NumPy数组(ndarry)对象 01 NumPy概述 02 NumPy数组(ndarry)对象 03 ufunc函数 04 NumPy的函数库 9 1.1 认识 NumPy 数组对象 >import numpy as np # 导入NumPy工具包 >data = np.arange(12).reshape(3, 4) # 创建一个3行4列的数组 >data array([[ 0, 1, 2, 3], [ 4, 5, 6, 7]

Tensor：一个用过自动调用backward() 实现支持自动梯度计算的多维数组 ，并且保存关于 个向量的梯度 w.r.t. ● nn.Module：神经网络模块。封装参数、移动到 GPU 上运行、导出、加载等。 ● nn.Parameter：一种变量，当把它赋值给一个Module 时，被自动 地注册为一个参数。 ● autograd.Function：实现一个自动求导操作的前向和反向定义，每个变量操作至少创建一个函数

B-ORG I-ORG I-ORG E-ORG CRF 04 达观数据文本挖掘的实践经验 文 档 智 能 抽 取 功 能 l 财务报表账目信息抽取 l 商业票据关键信息识别 l 应标书信息自动导出 l 基金合同差异核对 l 投资报告项目信息自动提取 l 法律文书风控要素审核 l 新闻稿文字校对 l 政府补贴项目申请表内容核准 l …… l 更多场景可定制开发 文本挖掘的一些常见应用需求