机器学习课程-温州大学-04深度学习-深层神经网络

### 总结：机器学习课程-温州大学-04深度学习-深层神经网络 本文档主要围绕深层神经网络的核心概念和关键算法展开，重点介绍了神经网络的结构、前向传播、激活函数及参数和超参数的区别。以下是核心内容的总结： --- #### **1. 神经网络的层数计算** - **输入层**不算在神经网络的层数中，只计算**隐藏层**和**输出层**。 - 例如： - 包含一个隐藏层和一个输出层的神经网络，被称为**两层神经网络**。 - 包含五个隐藏层和一个输出层的神经网络，被称为**六层神经网络**。 --- #### **2. 前向传播** 前向传播是指神经网络中数据从输入层通过隐藏层传递到输出层的过程。具体步骤如下： 1. **第一层**：计算 $z^{[1]} = W^{[1]}x + b^{[1]}$，然后应用激活函数 $a^{[1]} = g^{[1]}(z^{[1]})$。 2. **后续层**：对于第 $l$ 层，计算 $z^{[l]} = W^{[l]}a^{[l-1]} + b^{[l]}$，然后应用激活函数 $a^{[l]} = g^{[l]}(z^{[l]})$。 3. 通过迭代上述步骤，数据从输入层逐层传递到输出层。 --- #### **3. 激活函数** 激活函数用于引入非线性，增强神经网络的表达能力。常用的激活函数包括 **Sigmoid 函数**： - **Sigmoid 函数公式**：$a = \sigma(z) = \frac{1}{1 + e^{-z}}$。 - **导数**：$\frac{d}{dz}g(z) = g(z)(1 - g(z))$。 - **应用**：当 $\sigma(z) \geq 0.5$ 时，预测 $y = 1$；当 $\sigma(z) < 0.5$ 时，预测 $y = 0$。 --- #### **4. 参数与超参数** - **参数**：指神经网络中的权重 $W$ 和偏置 $b$，这些参数通过训练数据学习得到。 - **超参数**：指需要人工设置的参数，例如： - 学习率（learning rate） - 隐藏层数目 $L$ - 隐藏层单元数目 $n^{[l]}$ - 激活函数的选择 --- #### **5.深度学习的表示** 深度学习结合了表示学习和浅层学习，通过多层非线性变换来提取复杂特征。 --- ### 总结 本文档系统地介绍了深层神经网络的核心概念，包括神经网络的层数计算、前向传播的具体过程、激活函数的作用以及参数和超参数的区别，为理解深度学习的基础知识提供了清晰的框架。