不一致 的，为了方便神经网络处理，需要将图片缩放到某个固定的大小，如图 9.29 所示，是缩放 后的固定224 × 224大小的图片。对于图中的人物图片，根据先验知识，我们知道旋转、缩 放、平移、裁剪、改变视角、遮挡某局部区域都不会改变图片的主体类别标签，因此针对 图片数据，可以有多种数据增强方式。 预览版202112 第 9 章 过拟合 16 图 9.29 不同大小的原图缩放到固定大小 图 9.32 竖直翻转 9.7.3 裁剪 通过在原图的左右或者上下方向去掉部分边缘像素，可以保持图片主体不变，同时获 得新的图片样本。在实际裁剪时，一般先将图片缩放到略大于网络输入尺寸的大小，再裁 剪到合适大小。例如网络的输入大小为224 × 224，那么可以先通过 resize 函数将图片缩放 到244 × 244大小，再随机裁剪到224 × 224大小。代码实现如下： # 再随机裁剪到合适尺寸 x = tf.image.random_crop(x, [224,224,3]) 图 9.33 是缩放到244 × 244大小的图片，图 9.34 某次随机裁剪到224 × 224大小的例子， 图 9.35 也是某次随机裁剪的例子。 图 9.33 裁剪前 图 9.34 裁剪并缩放后-1 图 9.35 裁剪并缩放后-2

keras.layers.Cropping1D(cropping=(1, 1)) 1D 输入的裁剪层（例如时间序列）。 它沿着时间维度（第 1 个轴）裁剪。 参数 关于 KERAS 网络层 73 • cropping: 整数或整数元组（长度为 2）。在裁剪维度（第 1 个轴）的开始和结束位置应该 裁剪多少个单位。如果只提供了一个整数，那么这两个位置将使用相同的值。 输入尺寸 3D 张量，尺寸为 Cropping2D(cropping=((0, 0), (0, 0)), data_format=None) 2D 输入的裁剪层（例如图像）。 它沿着空间维度裁剪，即宽度和高度。 参数 • cropping: 整数，或 2 个整数的元组，或 2 个整数的 2 个元组。 • 如果为整数：将对宽度和高度应用相同的对称裁剪。 • 如 果 为 2 个 整 数 的 元 组： 解 释 为 对 高 度 和 宽 度 的 两 个 data_format 为 "channels_first"，输出 4D 张量，尺寸为 (batch, channels, cropped_rows, cropped_cols)。 例子 # 裁剪输入的 2D 图像或特征图 model = Sequential() model.add(Cropping2D(cropping=((2, 2), (4, 4)), input_shape=(28

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320 8.5.5 梯度裁剪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321 8.5.6 训练 . 然而，并不是所有的数据都可以用“固定长度”的向量表示。以图像数据为例，如果它们全部来自标准显微 镜设备，那么“固定长度”是可取的；但是如果图像数据来自互联网，它们很难具有相同的分辨率或形状。这 时，将图像裁剪成标准尺寸是一种方法，但这种办法很局限，有丢失信息的风险。此外，文本数据更不符合 “固定长度”的要求。比如，对于亚马逊等电子商务网站上的客户评论，有些文本数据很简短（比如“好极 了”），有些则长 predict_ch8('time traveller ', 10, net, vocab, d2l.try_gpu()) 'time traveller aaaaaaaaaa' 320 8. 循环神经网络 8.5.5 梯度裁剪 对于长度为T的序列，我们在迭代中计算这T个时间步上的梯度，将会在反向传播过程中产生长度为O(T)的 矩阵乘法链。如 4.8节所述，当T较大时，它可能导致数值不稳定，例如可能导致梯度爆炸或梯度消失。因此，

正则化 数据增强：随意翻转和裁剪、扭曲变形图片 15 数据增强的PyTorch实现 import torch from torchvision import transforms # 定义数据增强的方法 transform = transforms.Compose([ transforms.RandomResizedCrop(224), # 随机裁剪 transforms.

 计算逻辑抽象op，通过op组合形成模型结构  提供正向（forward）、反向（backward）、Loss的操作扩展 模型训练框架 • 模型可变计算路径  运行阶段  计算图裁剪 模型训练框架 • 应用场景——离线预计算  模型召回，ANN检索  粗排模型，降低线上计算量 • 分布式Sharding  模型分片存储，支持超大规模模型  数据并行计算，加速Optimizer计算

大部分的计算机视觉任务使用很多的数据 ，所以数据增强是经常使用的一种技巧来 提高计算机视觉系统的表现。计算机视觉 任务的数据增强通常以下方法实现： (1) 随意翻转、镜像。 (2) 随意裁剪。 (3) 扭曲变形图片。 (4) 颜色转换，然后给R、G和B三个通道上 加上不同的失真值。产生大量的样本，进 行数据增强。 28 偏差和方差 方差Variance： 描述的是预测值的变化范围，离散程度，