LSTM 主讲人：龙良曲 Folded model feature ??@??ℎ + ℎ?@?ℎℎ [0,0,0 … ] Intuitive Pipeline http://harinisuresh.com/2016/10/09/lstms/ http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/readings/L15%20Exploding% github.io/blog/2017/11/15/LSTM-Vanishing-Gradients.html http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/readings/L15%20Exploding% 20and%20Vanishing%20Gradients.pdf 下一课时 LSTM使用 Thank You.

LSTM使用 主讲人：龙良曲 http://www.cs.toronto.edu/~rgrosse/courses/csc321_2017/readings/L15%20Exploding% 20and%20Vanishing%20Gradients.pdf nn.LSTM ▪ __init__ LSTM.foward() ▪ out, (ht, ct) = lstm(x, [ht_1 [ht_1, ct_1]) ▪ x: [seq, b, vec] ▪ h/c: [num_layer, b, h] ▪ out: [seq, b, h] nn.LSTM nn.LSTMCell ▪ __init__ LSTMCell.forward() ▪ ht, ct = lstmcell(xt, [ht_1, ct_1]) ▪ xt: [b, vec] ▪ ht/ct: [b, h]

052895709, … 2.8651976585, -3.9351148605, 1.3284717798 ] RNN与LSTM RNN LSTM Ref: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ LSTM原理 Ref: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 深度学习（Bi-LSTM+CRF） • 多领域通用 • 输入层采用词向量，提升泛化能力 • 循环神经网络（LSTM,GRU等）能学 到一些较远的的上下文特征以及一些 非线性特征 序列标注 字/词向量 Bi-LSTM 会 数 据 开 观 达 去 明 小 LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM O O O B-PER E-PER B-ORG I-ORG I-ORG E-ORG CRF 04 达观数据文本挖掘的实践经验 文 档 智 能 抽 取 功 能 l 财务报表账目信息抽取 l 商业票据关键信息识别 l 应标书信息自动导出 l 基金合同差异核对 l 投资报告项目信息自动提取 l 法律文书风控要素审核 l 新闻稿文字校对 l

1 2023年05月 深度学习-序列模型 黄海广 副教授 2 03 长短期记忆(LSTM) 04 双向循环神经网络 本章目录 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 3 03 长短期记忆(LSTM) 04 双向循环神经网络 1.序列模型概述 01 序列模型概述 02 同一层节点之间无关联，从而导致获取时序规则方面功 能不足  循环神经网络可以解决时序问题  基于语言模型（LM），故可以捕捉时序规则信息  它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 8 2.循环神经网络(RNN) 03 长短期记忆(LSTM) 04 双向循环神经网络 3.长短期记忆(LSTM) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 16 3.长短期记忆(LSTM) L L L L L L L C C C C C C C FC SM L L L C C C 17 3.长短期记忆(LSTM) L L L L L

11.4 RNN 层使用方法 11.5 RNN 情感分类问题实战 11.6 梯度弥散和梯度爆炸 11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 12.1 自编码器原理 年 Yann LeCun 等人将 BP 算法应用在手写数字图片识别上，取得 了巨大成功，这套系统成功商用在邮政编码识别、银行支票识别等系统上；1997 年，现在 应用最为广泛的循环神经网络变种之一 LSTM 被 Jürgen Schmidhuber 提出；同年双向循环 神经网络也被提出。 遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM)为 Hopfield 网络 1982 1985 Boltzmann 机器 受限Boltzmann 1986 RNN 1986 1986 MLP 1990 LeNet 双向RNN 1997 1997 LSTM 2006 DBN深度 置信网络 图 1.8 浅层神经网络发展时间线 1.2.2 深度学习 2006 年，Geoffrey Hinton 等人发现通过逐层预训练的方式可以较好地训练多层神经网

150) 500000 150 �batch_size*6, 20, 150) 150 LSTM LSTM LSTM LSTM LSTM embedding lookup tranpose �����batch_size*6, 150) lstm cell unit = 64 bi-lstm �����batch_size*6, 128) Soft attention Attention ��FastText Vector���embedding • ���+��� ��title�����99.0% • ����� billion�� ��������� • bi-LSTM + attention • ��pai-tensorflow������ 语k模型——总结 排序应用——g性化表征 排序应用——g性化表征 ����������� � �������

深度学习在搜狗搜索广告的一些应用 LSTM LSTM LSTM 中长款 牛仔 外套 ResNet-50层 CNN-LSTM Encoder CNN CNN 中长款牛仔外套 Cosine-Loss 广告物料推荐 深度学习在搜狗搜索广告的一些应用 方向 用途 相关技术 图像理解 图片物料推荐 CNN 文本相关性 广告召回、创意生成 Word2Vec、CSR、LSTM CTR预估 广告排序、特征挖掘

部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部 部 智 能 引 擎 行情服务 总控模块 预测模型 策略模块 数据总线 智 能 特 征 工 程 去量纲：标准化、归一化 缺失值处理：样条插值 降维：PCA A I 信 号 生 成 LSTM 神经网络 BP 全连接网络 XGBoost 集成学习模型 定制早停函数 原 始 高 频 数 据 实时超高频数据 结构化多档行情 全行业指数 概念指数 龙头 lead 股票 互联网新闻 外 部

时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列，多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN，LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系， 长短期依赖关系 ⚫ 算法有LSTNet，TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强 选择 LSTNet 作为温度预测建模算法 RMSE：预测值与真实值的误差平方根的均值 R^2：范围为0-1，越接近1，表明这个模型对数据拟合能 力越好。 LSTNet 预测效果展示 ⚫ LSTNet 算法实验结果及与 LSTM 算法的对比 LSTM LSTNet • 橙色线代表模型预测温度值 • 蓝色线代表真实温度值 测试结果：RMSE：0.3度 R^2：90% 测试结果：RMSE：0.25度 R^2：97% 模型部署和自动更新

把结构化的系统动作翻译成人类的语言 • Semantically Conditioned LSTM (SC-LSTM) Tsung-Hsien Wen (2016) 语言生成 Natural Language Generation (NLG) • 把结构化的系统动作翻译成人类的语言 • Semantically Conditioned LSTM (SC-LSTM) Tsung-Hsien Wen (2016) Task-Bot: