深度学习与PyTorch入门实战 - 25 交叉熵

以下是对文档内容的总结： 本节内容围绕交叉熵（Cross Entropy）展开，主讲人为龙良曲。以下是核心观点和关键信息的总结： 1. **为什么选择交叉熵？** 交叉熵常用于分类任务，而不是均方误差（MSE），因为交叉熵更适合衡量两个概率分布之间的差异。通过示例对比，文档展示了交叉熵在分类任务中的优势，尤其是在真实标签为0-1分布的情况下。 2. **交叉熵的定义与公式** 交叉熵用于衡量两个概率分布（真实分布P和预测分布Q）之间的差异，其公式为： \[ H(P, Q) = -\sum P(x) \log Q(x) \] 当真实标签为一-hot编码时，交叉熵简化为分类任务的标准损失函数。 3. **熵的概念** 熵（Entropy）是信息论中衡量不确定性的指标，提出者为Claude Shannon。熵越大，不确定性越高。 - 对于一-hot编码，真实标签的熵为0，因为没有不确定性。 4. **分类任务中的损失函数** 文档提到几种常见的分类损失函数： - MSE（均方误差） - Cross Entropy Loss（交叉熵损失） - Hinge Loss（铰链损失） 5. **实际应用与实战** 文档通过多分类问题的实战场景说明了交叉熵的应用，并对比了不同预测结果下的损失值（如0.54和0.34）。 总结来看，交叉熵是分类任务中一种高效且常用的损失函数，其优势在于能够直接衡量概率分布的差异，且计算方便，适合优化。