深度学习与PyTorch入门实战 - 18.1 激活函数梯度

本文档主要围绕深度学习中激活函数及其梯度展开，重点介绍了以下内容： 1. **激活函数的作用**： 激活函数用于引入非线性，增强神经网络的表达能力。常见的激活函数包括Sigmoid、Tanh和ReLU。 2. **Sigmoid函数及其导数**： - Sigmoid函数公式为：\[ \sigma(x) = \frac{1}{1 + e^{-x}} \] - 导数公式为：\[ \sigma'(x) = \sigma(x) \cdot (1 - \sigma(x)) \] 3. **Tanh函数及其导数**： - Tanh函数公式为：\[ \text{tanh}(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}} \] - 导数公式为：\[ \text{tanh}'(x) = 1 - \text{tanh}^2(x) \] 4. **ReLU函数及其导数**： - ReLU函数公式为：\[ \text{ReLU}(x) = \max(0, x) \] - 导数公式为：\[ \text{ReLU}'(x) = \begin{cases} 1 & \text{若 } x > 0 \\ 0 & \text{若 } x \leq 0 \end{cases} \] 5. **其他信息**： - 文档中还提到了下一课将涵盖损失函数及其梯度的内容。 整体来看，本文档系统地介绍了常见激活函数及其导数计算，旨在帮助读者理解和应用这些函数在深度学习模型中。