(WAN Zhen) � wanzhenchn � wanzhen@cqu.edu.cn 2018 年 12 月 24 日 *Copyright © 2018 by Keras-Team 前 言 整理 Keras: 基于 Python 的深度学习库 PDF 版的主要原因在于学习 Keras 深度学习库时方 便本地查阅，下载最新 PDF 版本请访问: https://github.co . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.5 使用 TensorFlow 以外的后端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.6 技术支持 . . . . . . . . . . . . 5 2.3 Keras 可以轻松将模型转化为产品 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . .

预览版202112 预览版202112 前 言 这是一本面向人工智能，特别是深度学习初学者的书，本书旨在帮助更多的读者朋友了 解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5 的优势；在矩阵较大时，CPU 的计算时间明显上升，而 GPU 能充分发挥并行计算优势， 运算时间几乎不变。 图 1.21 CPU/GPU 矩阵相乘时间 2) 自动梯度 在使用 PyTorch 构建前向计算过程的时候，除了能够获得数值结果，PyTorch 还会自动 构建计算图，通过 PyTorch 提供的自动求导的功能，不需要手动推导，就可计算输出对网 络参数的偏导数。考虑如下函数的表达式：

. 70 2.5.2 非标量变量的反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 4.7 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413 10.7.2 基于位置的前馈网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415 10.7.3 残差连接和层规范化 . .

AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 11 AdaBoost算法 AdaBoost（Adaptive Boosting，自适应增强），其自适应在于：前 一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来 训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直 到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。 ?−1 ? + ? ?: ?? , ? = 1,2, … ? ෠?? = ??? min ?? ෍ ?=1 ? ? ??, ??−1 ?? + ?(??: ??) ?0 ? = 0 前向分步算法： ?? ? = ෍ ?=1 ? ?(?: ??) 初始化提升树 第?棵决策树 迭代?次，包 含?棵决策树 的提升树 真实值 损失函数 备注：损失函数选择：如分类用指数损失函数 ?4 ? ?0 ? ? ?: ?1 ? ?: ?3 ? ?: ?4 ? ?: ?2 ? ?? ? = ??−1 ? + ? ?: ?? , ? = 1,2, … ? 前向分步算法： 19 前向分步算法： ? ?, ?(?) = ? ?, ?? ? = ? ?, ??−1 ? + ? ?: ?? = (? − ??(?))2 = ? − ??−1 ? − ? ?: ??

类别信息和位置信息。 分割（Segmentation） 分割包括语义分割（semantic segmentation）和实例分割（ instance segmentation），前者 是对前背景分离的拓展，要求 分离开具有不同语义的图像部 分，而后者是检测任务的拓展 ，要求描述出目标的轮廓（相 比检测框更为精细）。 5 目标检测和识别 • 怎样检测和识别图 像中物体，如汽车、 牛等？ 1.目标检测概述

训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 存在的问题02： GPT的发展 38 GPT-3（2020.5）取得突破性进展，任务结果难以与人类作品区分开来 ◼ GPT-3对GPT-2追求无监督与零次学习的特征进行了改进 ◼ GPT-3利用了过滤前45TB的压缩文本，在诸多NLP数据集中实现了强大性能 ✓ GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍。对于所有任务（在few-shot设置下测试其

用这些主成分来表征原始数据，从而达到降维的目的。 PCA 的思想是通过坐标轴转换，寻找数据分布的最优子空间。 对 样本 数据进 行中心化处理 求样本协方差 矩阵 对协方差矩阵进 行特征值分解， 将特征值从大到 小排列 取特征值前 ? 个 最大的对应的， 这样将原来? 维 的样本降低到? 维 步骤 3. 特征提取 降维 19 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) Analysis，独立成分分析) ICA独立成分分析，获得的是相互独立的属性。ICA算法本质寻找一 个线性变换 ? = ??，使得 ? 的各个特征分量之间的独立性最大。 PCA 对数据 进行降维 ICA 来从多 个维度分离 出有用数据 步骤 PCA 是 ICA 的数据预处理方法 降维 3. 特征提取 20 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 1

PyTorch功能演示 Torch ▪ 2002年 Torch ▪ 2011年 Torch7 ▪ Lua PyTorch ▪ 2016.10 发布0.1，THNN后端 ▪ 2018.12 发布1.0 ， CAFFE2后端 ▪ 2019.5 发布1.1 ▪ Facebook AI Research 同类框架 https://towardsdatascience.com/battl

模型计算： 传入转换后的特征数据，调用模型计算引擎 在线预估服务 • 特征编码方式  通过明文hash的方式编码  适用于特征的动态增长  不需要预分配，提高处理效率 • 框架与实现分离  提供op形式的特征抽取类  逻辑一致性：在线、近线、离线 特征抽取框架 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构

0-1 损失函数，可以认为它是二类分类问题的真 正的损失函数，而合页损失函数是0-1损失函 数的上界。 19 3.线性支持向量机 求解原始最优化问题的解?∗和?∗，得到线性支持向量机，其分离超平面为 ?∗T? + ?∗ = 0 分类决策函数为：?(?) = sign ?∗T? + ?∗ 线性可分支持向量机的解?∗唯一，但?∗不唯一。对偶问题是 min ? 1 2 ෍ ?=1