https://weberna.github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html ℎ0, ??ℎ, ?ℎℎ ? = ???ℎ(?) 下一课时 RNN Layer使用 Thank You.

RNN训练难题 主讲人：龙良曲 Simple Yet? ▪ Nothing is straightforward. Gradient Exploding and Gradient Vanishing Why https://weberna.github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html Step 1. Gradient Exploding pdf Gradient Clipping Step 2. Gradient Vanishing: 1997 http://harinisuresh.com/2016/10/09/lstms/ RNN V.S. LSTM Gradient Visualization https://imgur.com/gallery/vaNahKE 下一课时 LSTM Thank You.

RNN Layer使用 主讲人：龙良曲 Folded model feature ??@??ℎ + ℎ?@?ℎℎ [0,0,0 … ] x: ??? ???, ????ℎ, ??????? ??? ????ℎ, ??????? ??? @[ℎ????? ???, ??????? ???]?+ ????ℎ, ℎ????? ??? @ ℎ????? ???, ℎ????? ??? ? dim, hidden dim nn.RNN ▪ __init__ nn.RNN ▪ out, ht = forward(x, h0) ▪ x: [seq len, b, word vec] ▪ h0/ht: [num layers, b, h dim] ▪ out: [seq len, b, h dim] Single layer RNN feature ??@??ℎ 1 + + ℎ? 1@?ℎℎ 1 [0,0,0 … ] ℎ? 1@??ℎ 2 + ℎ? 2@?ℎℎ 2 [0,0,0 … ] 2 layer RNN [T, b, h_dim], [layers, b, h_dim] nn.RNNCell ▪ __init__ nn.RNNCell ▪ ht = rnncell(xt, ht_1) ▪ xt: [b, word vec] ▪ ht_1/ht:

01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 3 03 长短期记忆(LSTM) 04 双向循环神经网络 1.序列模型概述 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 4 1.序列模型概述 循环神经网络（RNN）之类的模型在语音识别、自然语言处理和 其他领域中引起变革。 息  它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 8 2.循环神经网络(RNN) ?<1> = ?1(????<0> + ????<1> + ??) ̰? <1> = ?2(????<1> + ??) + ??) RNN的前向传播 ?<0> =0 rnn=nn.RNN(input size=10,hidden size=20,num layers=2) 9 2.循环神经网络(RNN) RNN的前向传播 ? = ?1(???? + ???? + ??) ̰? = ?2(???? + ??) 10 2.循环神经网络(RNN) RNN的反向传播 11

understand its predecessor, Recurrent Neural Network or RNN which, unlike attention, doesn’t have the flexibility to look at the entire text sequence. A RNN contains a recurrent cell which operates on an input problem mentioned earlier, each news article can be represented as a sequence of words. Hence, an RNN with a softmax classifier stacked on top is a good choice to solve this problem. Figure 4-14: A pictorial sequences respectively. This problem requires two RNN networks namely: an encoder network and a decoder network as shown in figure 4-15. The encoder RNN transforms the english sequence to a latent representation

参考文献 第 11 章 循环神经网络 11.1 序列表示方法 11.2 循环神经网络 11.3 梯度传播 11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战 XOR异或问题 1969 1974 BP反向传播 Hopfield 网络 1982 1985 Boltzmann 机器 受限Boltzmann 1986 RNN 1986 1986 MLP 1990 LeNet 双向RNN 1997 1997 LSTM 2006 DBN深度 置信网络 图 1.8 浅层神经网络发展时间线 1.2.2 深度学习 2006 年，Geoffrey t Neural Network，简称 RNN)在 Yoshua Bengio、Jürgen Schmidhuber 等人的持续研究下，被证明非常擅长处理序列信号。1997 预览版202112 6.8 汽车油耗预测实战 21 年，Jürgen Schmidhuber 提出了 LSTM 网络，作为 RNN 的变种，它较好地克服了 RNN 缺 乏长期记忆、不擅长处理长序列的问题，在自然语言处理中得到了广泛的应用。基于

fed to a softmax layer to choose from a discrete set of choices. Figure 7-5: The architecture of an RNN controller for NAS. Each time step outputs a token . The output token is fed as input to the next expectation maximization problem. Given a set of actions which produce a child network with an accuracy , an RNN controller maximizes the expected reward (accuracy) represented as follows: They used a policy gradient which provide a good accuracy-latency tradeoff. Overall, it still followed the fundamental design of a RNN based controller similar to its predecessors. The idea to design block and cell structures by predicting

3.3.14 如何「冻结」网络层？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.3.15 如何使用有状态 RNN (stateful RNNs)? . . . . . . . . . . . . . . . . . . . . 33 3.3.16 如何从 Sequential 模型中移除一个层？ . . . 循环层 Recurrent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 5.6.1 RNN [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 5.6.2 SimpleRNN 在验证集的误差不再下降时，如何中断训练？ • 验证集划分是如何计算的？ • 在训练过程中数据是否会混洗？ • 如何在每个 epoch 后记录训练集和验证集的误差和准确率？ • 如何「冻结」网络层？ • 如何使用有状态 RNN (stateful RNNs)? • 如何从 Sequential 模型中移除一个层？ • 如何在 Keras 中使用预训练的模型？ • 如何在 Keras 中使用 HDF5 输入？ • Keras

2019 KE.COM ALL COPYRIGHTS RESERVED 15 模型演变历程 v1.0 初版模型系统 v2.0 深度学习模型 v2.0+ 效果持续优化 XGBoost DNN+RNN 特征建设 v1.0 初版模型系统 2019 KE.COM ALL COPYRIGHTS RESERVED 16 v1.0 - 初版模型系统概览 • 房源特征 静态特征 时序特征 XGBoost DNN+RNN 特征建设 2019 KE.COM ALL COPYRIGHTS RESERVED 21 RNN RNN LSTM 2019 KE.COM ALL COPYRIGHTS RESERVED 22 DNN 2019 KE.COM ALL COPYRIGHTS RESERVED 23 深度学习模型结构  混合模型：DNN + RNN  Deep neural 激活层（RELU） - dropout正则化  Recurrent neural networks (RNN) - LSTM 2019 KE.COM ALL COPYRIGHTS RESERVED 24 模型系统对比 房源特征 特征处理 M XGBoost 分数映射 房源特征 分数映射 DNN + RNN v1.0 v2.0 2019 KE.COM ALL COPYRIGHTS RESERVED

Transformer的工作流程 04 BERT 4 1.Transformer介绍 为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 key，等着被查的 V: value，实际的特征信息 9 1.Transformer介绍 Attention的优点 1.参数少：相比于 CNN、RNN ，其复杂度更小，参数也更少。所以对算力的要求 也就更小。 2.速度快：Attention 解决了 RNN及其变体模型不能并行计算的问题。Attention机 制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。 3.效果好：在Attention 一样的。 10 2017年google的机器翻译团队在 NIPS上发表了Attention is all you need的文章，开创性地提出了 在序列转录领域，完全抛弃 CNN和RNN，只依赖Attention-注 意力结构的简单的网络架构， 名为Transformer；论文实现的 任务是机器翻译。 Transformer结构 Multi-Head Attention