什么是卷积 主讲人：龙良曲 Feature Maps Feature maps Feature maps What’s wrong with Linear ▪ 4 Hidden Layers: [784, 256, 256, 256, 256, 10] ▪ 390K parameters ▪ 1.6MB memory ▪ 80386 http://slazebni.cs.illinois Convolution CNN on feature maps https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/ 下一课时 卷积神经网络 Thank You.

经典卷积网络 主讲人：龙良曲 ImageNet LeNet-5 ▪ 99.2% acc. ▪ 5/6 layers LeNet5 Demo AlexNet ▪ GTX 580 ▪ 3GBx2 ▪ 11x11 ▪ 8 layers VGG ▪ 3x3 ▪ 1x1 ▪ 11-19 layers 1x1 Convolution ▪ less computation ▪

卷积神经网络 主讲人：龙良曲 Convolution Moving window Several kernels Animation https://medium.freecodecamp.org/an-intuitive-guide-to-convolutional-neural- networks-260c2de0a050 Notation Input_channels: Kernel_channels:

1 2023年03月 深度学习-卷积神经网络 黄海广 副教授 2 01 计算机视觉概述 02 卷积神经网络简介 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 3 01 计算机视觉概述 02 卷积神经网络概述 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 4 计算机视觉 图像获取 提取二维图像 一张图片数据量是64×64×3，因为每张图片都有3个颜色通道。 如果计算一下的话，可得知数据量为12288 12 01 计算机视觉概述 02 卷积神经网络概述 03 卷积神经网络计算 04 卷积神经网络案例 本章目录 13 深层神经网络和卷积神经网络 Input Layer Hidden Layers Output Layer a[4] X Ŷ a[1] 1 a[1] a[2] 2 a[2] 3 a[2] n a[3] 1 a[3] 2 a[3] 3 a[3] n 进行卷积计算，处理大量特征 14 深层神经网络和卷积神经网络 15 卷积神经网络 深度学习=表示学习+浅层学习 16 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等

深度学习-深度卷积神经网络 黄海广 副教授 2 01 经典网络 02 深度残差网络 04 卷积神经网络使用技巧 本章目录 03 其它现代网络 3 01 经典网络 1.经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 4 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成; 卷积层块：由两个卷积层块组成; • 全连接层块：由三个全连接层组成。 5 ? = 5 ? = 1 6 filter CONV1 POOL1 ? = 2 ? = 2 ? = 5 ? = 1 16 filter ? = 2 ? = 2 CONV2 28x28x6 14x14x6 MAXPOOL 10x10x16 MAXPOOL 5x5x16 POOL2 F C F C FC2 FC3 AlexNet 使用了8层卷积神 经网络，并以很大的优势赢得了2012 年 ImageNet 图像识别挑战赛。 LeNet (左)， AlexNet (右) 7 • 在 AlexNet 的第一层，卷积窗口的形状是 11×11 。由于大 多数 ImageNet 中图像的宽和高比 MNIST 图像的多10倍以 上，因此，需要一个更大的卷积窗口来捕获目标。 第二层 中的卷积窗形状被缩减为 5×5

10 章 卷积神经网络 10.1 全连接网络的问题 10.2 卷积神经网络 10.3 卷积层实现 10.4 LeNet-5 实战 10.5 表示学习 10.6 梯度传播 10.7 池化层 10.8 BatchNorm 层 预览版202112 10.9 经典卷积网络 10.10 CIFAR10 与 VGG13 实战 10.11 卷积层变种 算法才获得了广泛的关注。 1982 年，随着 John Hopfild 的循环连接的 Hopfield 网络的提出，开启了 1982 年~1995 年的第二次人工智能复兴的大潮，这段期间相继提出了卷积神经网络、循环神经网络、反 向传播算法等算法模型。1986 年，David Rumelhart 和 Geoffrey Hinton 等人将 BP 算法应用 在多层感知机上；1989 年 Yann LeCun 法支持，文档和案例也较为丰富，但是 Scikit-learn 并不是专门面向神经网络而设计 的，不支持 GPU 加速，对神经网络相关层的实现也较欠缺。 ❑ Caffe 由华人贾扬清在 2013 年开发，主要面向使用卷积神经网络的应用场合，并不适 合其它类型的神经网络的应用。Caffe 的主要开发语言是 C++，也提供 Python 语言等 接口，支持 GPU 和 CPU。由于开发时间较早，在业界的知名度较高，2017

神经网络与GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215 6 卷积神经网络 217 6.1 从全连接层到卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 6.1 6.1.3 卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220 6.1.4 “沃尔多在哪里”回顾 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 6.2 图像卷积 . . 2.2 卷积层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 6.2.3 图像中目标的边缘检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 6.2.4 学习卷积核 . .

. . . . 12 3.1.5.3 类似 VGG 的卷积神经网络： . . . . . . . . . . . . . . . . . . . . . 12 3.1.5.4 基于 LSTM 的序列分类： . . . . . . . . . . . . . . . . . . . . . . . 13 3.1.5.5 基于 1D 卷积的序列分类： . . . . . . . . . . . . . 22 3.2.7.1 Inception 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.7.2 卷积层上的残差连接 . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.7.3 共享视觉模型 . . . . . . . . . . 5.2.11 Masking [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 5.3 卷积层 Convolutional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 5.3.1 Conv1D

CNN 简介 CNN模型是一种以卷积为核心的前馈神经网络模型。 20世纪60年代，Hubel和Wiesel在研究猫脑 皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网 络的复杂性，继而提出了卷积神经网络（ConvoluTIonal Neural Networks，简称CNN）。 卷积（Convolution） 卷积是分析数学中的一种基础运算，其中对输入数据做运算时所用到的函数称为卷积核。 数据做运算时所用到的函数称为卷积核。 设:f(x), g(x)是R上的两个可积函数，作积分： 可以证明，关于几乎所有的实数x，上述积分是存在的。这样，随着x的不同取值，这个积分就 定义了一个如下的新函数，称为函数f与g的卷积 卷积层（Convolutional Layer, conv） 卷积层是使用一系列卷积核与多通道输入数据做卷积的线性计算层。卷积层的提出是为了利用 输入数据（如图像 输入数据（如图像）中特征的局域性和位置无关性来降低整个模型的参数量。卷积运算过程与 图像处理算法中常用的空间滤波是类似的。因此，卷积常常被通俗地理解为一种“滤波”过程， 卷积核与输入数据作用之后得到了“滤波”后的图像，从而提取出了图像的特征。 池化层（Pooling） 池化层是用于缩小数据规模的一种非线性计算层。为了降低特征维度，我们需要对输入数据进 行采样，具体做法是在一个或者多个卷积层后增加一个池化层。池化层由三个参数决定：（1）

Query 和 Doc 的语义表示向量，而是在 神经网络底层就让 Query 和 Doc 提前交互，从而获得更好的文本向量表示，最后通 过一个 MLP 网络获得语义匹配分数。代表性模型有华为提出的基于卷积神经网络的 匹配模型 ARC-II[29]，中科院提出的基于矩阵匹配的的层次化匹配模型 MatchPyra- mid[30]。 基于表示的匹配方法优势在于 Doc 的语义向量可以离线预先计算，在线预测时只需 Dilated CNN）是一种多层 CNN 网络，其中低层卷积使用普通卷积操作，通过滑动窗口圈定 的位置进行加权求和得到卷积结果，此时滑动窗口圈定的各个位置的距离间隔等于 1。高层卷积使用膨胀卷积（Atrous Convolution）操作，滑动窗口圈定的各个位置的 距离间隔等于 d（d>1）。通过在高层使用膨胀卷积可以减少卷积计算量，同时在序列 依赖计算上也不会有损失。在文本挖掘中，IDCNN 序，直接设计卷积核是困 难的。谱域方法通过图拉普拉斯矩阵的谱分解，在图上进行傅立叶变换得到图卷积函 数。GCN 作为谱域的经典方法，公式如下所示，其中 D 是对角矩阵，每个对角元素 为对应结点的度，A 是图的邻接矩阵，它通过给每个结点加入自环来使得卷积函数可 以获取自身结点信息，图中的 A 帽和 D 帽矩阵即是加自环后的结果，并在傅立叶变 换之后使用切比雪夫一阶展开近似谱卷积，使每一个卷积层仅处理一阶邻域信息，可