自然语言样本 视频与图像样本 样本处理 CTR NLP 图片视频 VGG Yolo inception resnet GRU LSTM Wide&Deep DeepFM Deep Cross Network Spark 超参数 资源 算法 BERT 配置 Tensorflow 4 深度学习-深度学习模型训练 • 通信优化 • PS：BSP/SSP/ASP多种通信模式支持 平台背景、平台架构和平台效果 12 • 平台背景-平台化 成本 效率 效果 实时 机器 人力 时间 开发 运行 迭代 规模 深度 1 平台背景 算法/模型 计算 数据/特征 存储 基础/IDE 业务 调度 集群 2 平台架构 计算 机器学习平台 Feed排序 推荐流 文本分类/检测 Hadoop/Spark 集群 数据仓库集群 高性能GPU集群 Hdfs/Odps TensorFlow /Caffe 图像/视频分类 阿里云计算集群 实时计算集群 业务 Storm/Flink Yarn/K8s …… …… …… 调度 Docker 存储 PS/WeiPS 基础/IDE（WeiIDE） 开发套件 控制台 控制中心 算法/模型（WeiFlow） 模型训练/评估 样本库 模型库 模型服务/推荐引擎 数据/特征（WeiData） 数据/特征生成 数据/特征存储

the below command: activate PythonCPU Install spyder Spyder is an IDE for executing python applications. Let us install this IDE in our conda environment using the below command: conda install spyder will be used to evaluate the prediction of the algorithm / Model (once the machine learn) and to cross check the efficiency of the learning process.  Compile the model: Compile the algorithm / test data)  Evaluate model: Evaluate the model by predicting the output for test data and cross- comparing the prediction with actual result of the test data.  Freeze, Modify or choose new

models is the GitHub’s Copilot software9 where GPT-3 is used for auto-completing code snippets with an IDE. End-users can also use GPT-3 API10 to build their own applications. Given the large number of possible Negative pairs are created using all the other pairs, and the loss to be minimized is a variant of the cross-entropy loss. We would refer you to the SimCLR paper for more details about the chosen loss functions smoothing is easy to implement on your own. However, various frameworks support it through their cross entropy loss function implementation. For example, Tensorflow provides a parameter to set the via

语言编写程序的方式非常多，可以使用 ipython 或者 ipython notebook 方式 交互式编写代码，也可以利用 Sublime Text、PyCharm 和 VS Code 等综合 IDE 开发中大型 项目。本书推荐使用 PyCharm 编写和调试，使用 VS Code 交互式开发，这两者都可以免费 使用，用户自行下载安装，并配置好 Python 解释器即可。限于篇幅，这里不再赘述。 不一致)。模型的训练目标是通过优化损失函数ℒ来找到最优数值解?∗和?∗: ?∗,?∗ = arg min ⏟ ?,? ℒ( ,?) 对于分类问题的误差计算来说，更常见的是采用交叉熵(Cross Entropy)损失函数，而较少采 用回归问题中介绍的均方误差损失函数。本书将在第 6 章详细介绍交叉熵损失函数，这里 仍然使用均方误差损失函数来求解手写数字识别问题(机器学习的做法是多种多样的，不要 0。分类问题的 One-hot 编码的分布就是熵为 0 的典型例子。在 TensorFlow 中 间，我们可以利用 tf.math.log 来计算熵。 在介绍完熵的概念后，我们基于熵引出交叉熵(Cross Entropy)的定义： ?(?||?) ≜ − ∑ ?(?) log2 ?(?) ? 通过变换，交叉熵可以分解为?的熵?(?)和?与?的 KL 散度(Kullback-Leibler

们帮助读者 进一步了解 Pytorch 开发基础知识，为后续章节学习打下良好 基础。在正式开始这些基础操作之前，我们首先需要有一个合 适的集成开发环境 (IDE)，本书的源代码是基于 Python 实现， 演示的集成开发环境（IDE）是 PyCharm。 1.4.1 PyCharm 的安装与配置 首先是从 Pycharm 官方网站上下载 Pycharm，版本有专业 版与社区版之分，社区版免费使用而专业版则需要付费使用。 py，然后直接输入下面两行测试代码： import torch print(torch.__version__) 执行测试（作者笔记本）： 1.9.0+cu102 这样我们就完成了 PyCharm IDE 开发环境配置与项目创建。 1.4.2 张量定义与声明 张量在 Pytorch 深度学习框架中表示的数据，有几种不同的方 式来创建与声明张量数据，一种是通过常量数值来直接声明为 tensor 框架与基础知识的介绍，通过本章学习了解 Pytorch 框架的历史与发展、理解深度学习框架常见的术语与 词汇含义；安装 Python SDK、掌握 Pytorch 安装命令行、 Pycharm IDE安装与配置。学会使用Pytorch创建基本的张量、 能够完成常见的张量数据操作、最后通过一个具有代表性的线 性回归的例子，帮助大家真正打开 Pytroch 框架开发的大门。 本章的目标是帮助初学者厘清深度学习框架基本概念、基础

MSE ▪ Cross Entropy Loss ▪ Hinge Loss Entropy ▪ Uncertainty ▪ measure of surprise ▪ higher entropy: higher uncertainty. Claude Shannon https://towardsdatascience.com/demystifying-cross-entropy-e80e3ad54a8 -e80e3ad54a8 Lottery Cross Entropy ▪ P=Q ▪ cross Entropy = Entropy ▪ for one-hot encoding, ▪ entropy = 1log1=0 ? ?, ? = − ෍ ?(?) log ?(?) KL Divergence Binary Classification for example why

preprocessing layer at the bottom (right after the input layer). We compile the model with a sparse cross entropy loss function (discussed in chapter 2) and the adam optimizer. from tensorflow.keras import student more information than just hard binary labels. The student is trained using the regular cross-entropy loss with the hard labels, as well as using the distillation loss function which uses the function that minimizes the cross-entropy for both soft and hard labels. The combined loss function is as follows: In the above equation, denotes the original loss function (cross-entropy) that uses the

Kaggle Train Set Test Set Val Set Unavailable train-val-test K-fold cross-validation Train Set Test Set Val Set k-fold cross validation ▪ merge train/val sets ▪ randomly sample 1/k as val set

they can run on GPU. • Examples: And more operations like: Indexing, slicing, reshape, transpose, cross product, matrix product, element wise multiplication etc... Tensor (continued) • Attributes of performs the updates Loss • Loss • Various predefined loss functions to choose from • L1, MSE, Cross Entropy …... Model • In PyTorch, a model is represented by a regular Python class that inherits

L等 • Optimizer  FTRL、AdaGrad、AdaDelta、ADAM、AmsGrad、etc • Loss Function  LogLoss、SquareLoss、Cross Entropy、etc • 评估指标  AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； Random Forest 2. XGBoost 1. MLP 2. 少量特征空间 的Wide & Deep 1. 大规模离散特征 的Wide & Deep 2. DeepFM 3. Deep Cross 树模型 小规模DNN 大规模离散DNN • 超大规模深度学习  工程实现  数据并行、模型并行  在线、近线、离线逻辑一致性  实时模型  业务应用  召回模型，ANN搜索