MLP反向传播 主讲人：龙良曲 Chain rule ▪ ?? ???? ? = ?? ??? 1 ??? 1 ?? = ?? ??? 2 ??? 2 ??? 1 ??? 1 ?? ∑ E ?? ∑ ??? ? ??? ? ?? ? ?? ? Multi-output Perceptron ∑ σ E ?0 0 ?1 0 ?2 0

Postgres Conference China 2016 中国用户大会 高金芳 平安科技（深圳）有限公司 PostgreSQL“反向代理”Redis 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan

4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 4.9 数学运算 4.10 前向传播实战 4.11 参考文献 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 7.6 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 第 10 章 卷积神经网络 10.1 全连接网络的问题 10.2 卷积神经网络 10.3 卷积层实现 10.4 LeNet-5 实战 10.5 表示学习 10.6 梯度传播 10.7 池化层 10.8 BatchNorm 层 预览版202112 10.9 经典卷积网络 10.10 CIFAR10 与 VGG13 实战 10.11 卷积层变种

基本不会用它。 Tanh激活函数：tanh是非常优秀的，几乎适合所有 场合。 ReLu激活函数：最常用的默认函数，，如果不确定 用哪个激活函数，就使用ReLu或者Leaky ReLu。 11 4.反向传播算法 ൡ ? ? ? ⟹ ? = ??? + ? ⟹ ? = ?(?) ⟹ ? ?, ? ൡ ? ? ? ⏟ ??=??⋅?,??=?? ⟸ ? = ??? + ? ⏟ ??=? )=?′(?) ⟸ ) ? = ?(?) ⟸ ?(?, ? ⏟ ??= ? ??? ?,? =(−?log?−(1−?)log(1−?))′=−? ?+1−? 1−? 12 4.反向传播算法 因为 ??(?,?) ?? = ?? ?? = ( ?? ??) ⋅ ( ?? ??) 并且 ?? ?? = ? ⋅ (1 − ?)， 而 ??(?,?) ?? = ?? = ??(?,?) ?? = ?? ?? = ?? ?? ⋅ ?? ?? = (− ? ? + (1−?) (1−?)) ⋅ ?(1 − ?) = ? − ? 13 4.反向传播算法 第一步，计算?1 ሾ1], ?1 ሾ1] = ?1 ሾ1]?? + ?1 ሾ1]。 第二步，通过激活函数计算?1 ሾ1], ?1 ሾ1] = ?(?1 ሾ1])。 ?2

一个简单的例子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 2.5.2 非标量变量的反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . 7 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.3 反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 4.7.4 训练神经网络 . . . . .

如果一个节点的requires_grad是True，那么所有依赖它的节点 requires_grad也会是True。 换言之，如果一个节点依赖的所有节点都不需要求导，那么它的 requires_grad也会是False。在反向传播的过程中，该节点所在的子图会被 排除在外。 21 2. Autograd自动求导 Function类 我们已经知道PyTorch使用动态计算图(DAG)记录计算的全过程,DAG的节 点是 .grad_fn属性记录这个计算图的入口。反向传播过程中，autograd引擎会 按照逆序，通过Function的backward依次计算梯度。 22 2. Autograd自动求导 backward函数 backward函数是反向传播的入口点，在需要被求导的节点上调用 backward函数会计算梯度值到相应的节点上。 backward函数是反向求导数，使用链式法则求导。 backwa 这是因为有些Tensor可能有多个输出，那么就需要调用多个backward。叠加的处理 方式使得backward不需要考虑之前有没有被计算过导数，只需要加上去就行了，这 使得设计变得更简单。 因此我们用户在反向传播之前，常常需要用zero_grad函数对导数手动清零，确保 计算出来的是正确的结果。 24 2. Autograd自动求导 l1 = input x w1 l2 = l1 + w2

神经网络的典型训练过程如下： 1. 定义包含一些可学习的参数(或者叫权重)神经网络模型； 2. 在数据集上迭代； 3. 通过神经网络处理输入； 4. 计算损失(输出结果和正确值的差值大小)； 5. 将梯度反向传播回网络的参数； 6. 更新网络的参数，主要使用如下简单的更新原则： weight = weight - learning_rate * gradient 原文链接：pytorch 入门笔记 -03- 0525, -0.0239, -0.0056, -0.0597, 0.0184, -0.0300]], grad_fn=) 将所有参数的梯度缓存清零，然后进行随机梯度的的反向传播： net.zero_grad() out.backward(torch.randn(1, 10)) note torch.nn 只支持小批量输入。整个 torch.nn 包都只支持小批量样本，而不支持单个样本。 上运行、导出、加载等。 ● nn.Parameter：一种变量，当把它赋值给一个Module 时，被自动 地注册为一个参数。 ● autograd.Function：实现一个自动求导操作的前向和反向定义，每个变量操作至少创建一个函数 点，每一个Tensor 的操作都会创建一个接到创建Tensor 和编码其历史 的函数的Function 节点。 重点如下： ● 定义一个网络 ● 处理输入，调用

它假设⽤户会对⾃⼰正在关注的⼈的关 注对象感兴趣， 但实际的情况可能并⾮如此。 为了获得更为精准的推荐效果， 实际的社交⽹站通常会使⽤更为复 杂的推荐算法， 有兴趣的读者可以⾃⾏查找这⽅⾯的资料。 5.19 示例：使⽤反向索引构建商品筛选器 在光顾⽹店或者购物⽹站的时候， 我们经常会看⻅图 5-15 这样的商品筛选器， 对于不同的条件， 这些筛选器会 给出不同的选项， ⽤户可以通过点击不同的选项来快速找到⾃⼰想要的商品。 实现商品筛选器的其中⼀种⽅法是使⽤反向索引， 这种数据结构可以为每个物品添加多个关键字， 然后根据关键 字去反向地获取相应的物品。 举个例⼦， 对于 "X1 Carbon" 这台笔记本电脑来说， 我们可以为它添加 "ThinkPad" 、 "14inch" 、 "Windows" 等关键字， 然后通过这些关键字来反向获取 "X1 Carbon" 这台电脑。 实现反向索引的关键是要在物品和关键字之间构建起双向的映射关系， 电脑来 说， 反向索引程序需要构建出图 5-16 所示的两种映射关系： 第⼀种映射关系将 "X1 Carbon" 映射⾄它带有的各个关键字； ⽽第⼆种映射关系则将 "ThinkPad" 、 "14inch" 、 "Windows" 等多个关键字映射⾄ "X1 Carbon" 。 图 5-16 X1 Carbon 电脑及其关键字的映射关系 代码清单 5-9 展示了⼀个使⽤集合实现的反向索引程序，

RNN的前向传播 ?<0> =0 rnn=nn.RNN(input size=10,hidden size=20,num layers=2) 9 2.循环神经网络(RNN) RNN的前向传播 ? = ?1(???? + ???? + ??) ̰? = ?2(???? + ??) 10 2.循环神经网络(RNN) RNN的反向传播 11 2 lstm=nn.LSTM(input size=10,hidden size=20,num layers=2) 18 3.长短期记忆(LSTM) LSTM的前向传播 19 3.长短期记忆(LSTM) LSTM的反向传播 ??? ⟨?⟩ = ?????? ∗ tanh(?????) ∗ ?? ⟨?⟩ ∗ (1 − ?? ⟨?⟩) ? ǁ?⟨?⟩ = ?????? ∗ ?? ⟨ ? + ?? ⟨?⟩(1 − tanh(?????)2) ∗ ????? ∗ ?????? ∗ ?? ⟨?⟩ ∗ (1 − ?? ⟨?⟩) 20 3.长短期记忆(LSTM) LSTM的反向传播 参数求导 ??? = ??? ⟨?⟩ ∗ ????? ?? ? ??? = ? ǁ?⟨?⟩ ∗ ????? ?? ? ??? = ??? ⟨?⟩ ∗ ????? ?? ?

DeepSeek：从入门到精通 @新媒沈阳 团队 ：余梦珑博士后 清华大学新闻与传播学院 新媒体研究中心 元宇宙文化实验室 • Deepseek是什么？ • Deepseek能够做什么？ • 如何使用Deepseek？ DeepSeek是什么？ AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能（AGI）的中国科技公司，主攻大模型研发与应 核心技能 子项 问题重构能力 将复杂、模糊的人类需求转化为结构化的AI任务 识别问题的核心要素和约束条件 设计清晰、精确的提示语结构 创意引导能力 设计能激发AI创新思维的提示语 利用类比、反向思考等技巧拓展AI输出的可能性 巧妙结合不同领域概念，产生跨界创新 结果优化能力 分析AI输出，识别改进空间 通过迭代调整提示语，优化输出质量 设计评估标准，量化提示语效果 跨域整合能力 信息充分性 ▪ 结构合理性 ▪ 语言中立性 ▪ 伦理合规性 ▪ 可验证性 ▪ 迭代空间 ▪ 输出格式 ▪ 难度适中 ▪ 多样性考虑 常见陷阱与应对：新手必知的提示语设计误区 挖掘反向思维：从非传统角度切入 创新设计策略： ▪ 设定逆向任务：提示语可以引导AI从相反的角度处理问题，提供不同于传统生成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。