以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 龙龙老师 2021 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9

样本：挂牌满？天的房源  时间太短：信息传递不充分  时间太长： - 中间出现其他原因导致成交 - 无法及时反馈效果  综合考虑，并对比测试：选择2周 Y = f (X)  时间太短：行为信息不足  时间太长：浪费机器资源  对比测试：选择2周  Y：未来？天能否成交  X：最近？天房源产生的所有行为  样本：挂牌满？天的房源 2019 KE.COM ALL COPYRIGHTS RESERVED 14 模型演变历程 2019 KE.COM ALL COPYRIGHTS RESERVED 15 模型演变历程 v1.0 初版模型系统 v2.0 深度学习模型 v2.0+ 效果持续优化 XGBoost DNN+RNN 特征建设 v1.0 初版模型系统 2019 KE.COM ALL COPYRIGHTS RESERVED 16 v1.0 - 初版模型系统概览 • 选房没有主观性  可以盘点所有房源质量 2019 KE.COM ALL COPYRIGHTS RESERVED 20 模型演变历程 v1.0 初版模型系统 v2.0 深度学习模型 v2.0+ 效果持续优化 XGBoost DNN+RNN 特征建设 2019 KE.COM ALL COPYRIGHTS RESERVED 21 RNN RNN LSTM 2019 KE.COM ALL

训练和验证模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639 13.13.7 在 Kaggle 上对测试集进行分类并提交结果 . . . . . . . . . . . . . . . . . . . . . . . 640 13.14 实战Kaggle比赛：狗的品种识别（ImageNet Dogs） 14.6 训练和验证模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646 13.14.7 对测试集分类并在Kaggle提交结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . 647 14 自然语言处理：预训练 649 14.1 词嵌入（word2vec） 亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； （4）

Chatbots简史 • 三个火枪手：三个Bot框架 • IR-Bot、Task-Bot、Chitchat-Bot • 爱因互动所做的事 • 总结 Chatbots简史 1950 • 提出 “图灵 测试” 1966 •ELIZA：MIT 发展的精神 治疗师 chatbot 1995 •A.L.I.C.E.： 基于模式匹 配的NLP chatbot 2011, 2012 •Siri •Watson (SLU) • DSTC3中定义的部分动作类别 语言理解 (SLU) Steve Young (2016) 状态追踪 Dialogue State Tracking (DST) • 对话状态应该包含持续对话所需要的各种信息 • DST问题：依据最新的系统和用户动作，更新对话状态 • Q：如何表示对话状态 状态追踪 (DST) 旧状态 用户动作 系统动作 新状态 策略优化 Dialogue “2016年房价涨了，开发商很高兴” • 房价涨了谁高兴？ • 哪年房价涨了？ • 不同的问题使用不同的方法 爱因互动：DeepBot框架 • 不同的问题使用不同的方法 合作方式总结 快速部署 深度定制 持续迭代 价值优先 总结： 一个崭新的世界 趋势 • 智能设备越来越多 • 手机、电脑、Pad、TV、盒子、Watch、AirPods 、音箱、空气净化器、 净水器 • 人迁就机器  机器迁就人

深度学习在电商搜索和聊天机器人中的应用 探索 SPEAKER / 程进兴 2017年4月 2 3 苏宁国际美国硅谷研究院 苏宁美国硅谷研究院创 建于2013年11月，其宗旨是建立 高科技人才和专利的蓄水池，推 动苏宁持续地创新和转型，为用 户提供简约完美的用户体验。 硅谷研究院由来自云计 算、大数据、人工智能及深度学 习等不同专业背景的工程师、数 据科学家及分析师组成。目前包 含人工智能、大数据和创新三个 实验室。 用户购买日志 Word2vec模型 计算距离最近 的矢量 产品类别过滤 产品频率过滤 矢量转换回商 品 14 原型评测结果 矢量化搜索引擎与易购传统引擎搜索效果对比 （2016-07-25测试结果） 15 • 该技术不仅召回与搜索词完全匹配的结果，还可召回与搜索词文本不匹配、但含义近似的结果。 效果示例 如：经测评，当搜索词为“松下筒灯”， 易购网站返回6个相关结果， 美研方案返回64个相关结果

. . . . . . . . . . . . . . . 29 3.3.6.4 处理已保存模型中的自定义层（或其他自定义对象） . . . . . . . 30 3.3.7 为什么训练误差比测试误差高很多？ . . . . . . . . . . . . . . . . . . . . . . 31 3.3.8 如何获取中间层的输出？ . . . . . . . . . . . . . Keras? • 如何在多 GPU 上运行 Keras 模型? • “sample”, “batch”, “epoch” 分别是什么？ • 如何保存 Keras 模型？ • 为什么训练误差比测试误差高很多？ • 如何获取中间层的输出？ • 如何用 Keras 处理超过内存的数据集？ • 在验证集的误差不再下降时，如何中断训练？ • 验证集划分是如何计算的？ • 在训练过程中数据是否会混洗？ AttentionLayer}) 3.3.7 为什么训练误差比测试误差高很多？ Keras 模型有两种模式：训练和测试。正则化机制，如 Dropout 和 L1/L2 权重正则化，在测 试时是关闭的。 此外，训练误差是每批训练数据的平均误差。由于你的模型是随着时间而变化的，一个 epoch 中的第一批数据的误差通常比最后一批的要高。另一方面，测试误差是模型在一个 epoch 训练 完后计算的，因而误差较小。

� Facebook推荐场景推理成本占AI推理成本的 >72% [ISCA2020 RecNMP] � 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先 进⽔平 推荐系统的核⼼特点 � Feature 1（基本特点） 1.1 User与推荐系统交互，7*24⼩时 流式学习 1.2 Item和User新增，离开/遗忘， Collaborative Recommendation 问题3. ⼏⼗个场 景，独⽴链路 总结 � 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离线训练， 在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先进⽔平 ⽬标 推荐场景特点 � Feature1（基本特点） Item和user变化导致特征随时间新增，遗忘。 Embedding空间是动态的。

parameters () , l r=learning_rate ) 现在我们先构思一下训练的主体程序，该程序训练 10 轮，并且每轮会训练一次，然后测试一 次准确率。训练函数的输入是训练数据、神经网络体、损失函数计算体以及优化器；测试函数不 需要优化器： epochs = 10 f or t in range ( epochs ) : print ( f ”Epoch␣{ t+1 loss_function , optimizer ) test_loop ( test_dataloader , model , loss_function ) print ( ”Done ! ” ) 然后就是训练和测试的程序，训练一轮的程序如下： def train_loop ( dataloader , model , loss_function , optimizer ) : s i z e = len ( 我们打印输出一下 len(dataloader.dataset)，发现训练集有 60000 个数据。因为每个 batch 个 数为 64 个数据，因此训练集要训练 938 次，我们每 100 次输出一下。 测试集的程序如下： Chapter 2. 构建神经网络 13 def test_loop ( dataloader , model , loss_function ) : s i z e = len

验证码（CAPTCHA）简介 全自动区分计算机和人类的公开图灵测试（英语：Completely Automated Public Turing test to tell Computers and Humans Apart，简称CAPTCHA），俗称验证码，是一种区分用户是 计算机或人的公共全自动程序。在CAPTCHA测试中，作为服务器的计算机会自动生成一 个问题由用户来解答。这个问题 。 一种常用的CAPTCHA测试是让用户输入一个扭曲变形的图片上所显示的文字或数字，扭 曲变形是为了避免被光学字符识别（OCR, Optical Character Recognition）之类的计算机程 序自动识别出图片上的文数字而失去效果。由于这个测试是由计算机来考人类，而不是 标准图灵测试中那样由人类来考计算机，人们有时称CAPTCHA是一种反向图灵测试。 https://zh.wikipedia 快速搭建 验证码识别服务 使用 Flask 启动 验证码识别服务 $ export FLASK_ENV=development && flask run --host=0.0.0.0 打开浏览器访问测试 URL（http://localhost:5000/ping） 访问 验证码识别服务 $ curl -X POST -F image=@2140.png 'http://localhost:5000/predict'