机器学习课程-温州大学-13深度学习-Transformer

## 《机器学习课程-温州大学-13深度学习-Transformer》总结 ### 1. Transformer概述 Transformer模型自提出后，成为大模型的基础架构，其注意力机制取代了卷积神经网络，具备以下优势： - **参数少**：复杂度低，参数数量少。 - **速度快**：支持并行计算，解决了RNN的序贯计算问题。 - **效果好**：擅长捕获长距离依赖，提升了模型性能。 - **多模态兼容**：天然优势使其应用场景广泛，支持多种模态数据。 ### 2. Transformer工作流程 Transformer通过以下步骤进行操作： - 将输入语言转换为另一种语言，类似于黑箱操作。 - 每个词的Query（Q）与序列中所有Key（K）计算attention得分，再根据得分分配特征，最终获取Value（V）的加权 сум。 - Multi-Head Attention机制允许多个Self-Attention并行工作，从而捕获词间多维度关系。 ### 3. Transformer训练特点 - **并行性**：与RNN不同，Transformer能并行训练，显著缩短训练时间。 - **位置编码**：由于自身无法利用序列顺序，需添加位置嵌入，避免退化为词袋模型。 - **自注意力机制**：通过线性变换生成Q、K、V矩阵，进行多维度关注。 ### 4. BERT简介 BERT基于Transformer架构，是先知预训练、后知微调的模式，广泛应用于自然语言处理任务，表现优异。