. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.1.1 统计工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.1.2 训练 . 微调BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 738 16 附录：深度学习工具 741 16.1 使用Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 实世界的应用范围很窄。而那些应用，例如语音识别和计算机视觉，需要大量的领域知识，以至于它们通常 被认为是完全独立的领域，而机器学习对这些领域来说只是一个小组件。因此，神经网络——我们在本书中 关注的深度学习模型的前身，被认为是过时的工具。 就在过去的五年里，深度学习给世界带来了惊喜，推动了计算机视觉、自然语言处理、自动语音识别、强化学 习和统计建模等领域的快速发展。有了这些进步，我们现在可以制造比以往任何时候都更自主的汽车（不过

参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9 图 1.20 百度 Apollo 自动驾驶汽车④ 1.5 深度学习框架 工欲善其事，必先利其器。在介绍了深度学习相关背景知识后，现在来挑选一下实现 深度学习算法所使用的工具吧。 1.5.1 主流框架 ❑ Theano 是最早的深度学习框架之一，由 Yoshua Bengio 和 Ian Goodfellow 等人开发， ③ 图片来自 https://www PyTorch 在工业部署上也有成 熟的 ONNX 生态，丝毫不逊色于 TensorFlow。 1.5.3 功能演示 深度学习的核心是算法的设计思想，深度学习框架只是我们实现算法的工具。对工具 的理解有助于加深对算法的掌握程度。下面将演示 PyTorch 深度学习框架的三大核心功 能，从而帮助我们理解框架在算法设计中扮演的角色。 1) 加速计算 神经网络本质上由大量的矩

72B； • 针对每种尺寸提供基础模型和 Chat 模型，并确保聊天模型按照人类偏好进行校准； • 对基础模型和 Chat 模型的多语言支持 • 基础模型和聊天模型都支持多种语言； • 支持工具调用、RAG（检索增强文本生成）、角色扮演、AI Agent 等； 想了解更多信息，欢迎访问： • 博客 • GitHub • Hugging Face • ModelScope • Qwen1 qwen7b 1.6 Text Generation Web UI Text Generation Web UI（简称 TGW，通常被称为“oobabooga”）是一款流行的文本生成 Web 界面工具，类似 于 AUTOMATIC1111/stable-diffusion-webui 。它拥有多个交互界面，并支持多种模型后端，包括 Transformers 、 llama.cpp（通过 llama-cpp-python 1.7 AWQ 对于量化模型，我们推荐使用 AWQ 结合 AutoAWQ 。AWQ 即激活感知权重量化，是一种针对 LLM 的低比 特权重量化的硬件友好方法。而 AutoAWQ 是一个易于使用的工具包，专门用于 4 比特量化模型。相较于 FP16，AutoAWQ 能够将模型的运行速度提升 3 倍，并将内存需求降低至原来的 1/3。AutoAWQ 实现了激活 感知权重量化（AWQ）算法，可用于 LLM

1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公 Python模块-NumPy 广播 62 Python模块-Pandas ⚫Pandas Pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而 创建的。 Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型 数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 Python模块-SciPy ⚫SciPy SciPy是构建在NumPy的基础之上的，它 提供了许多的操作NumPy的数组的函数。 SciPy是一款方便、易于使用、专为科学和 工程设计的Python工具包，它包括了统计 、优化、整合以及线性代数模块、傅里叶 变换、信号和图像图例，常微分方差的求 解等 scipy.cluster 向量量化 scipy.constants 数学常量 scipy

1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公 Python模块-NumPy 广播 63 Python模块-Pandas ⚫Pandas Pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而 创建的。 Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型 数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的 函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分 析环境的重要因素之一。 Python模块-SciPy ⚫SciPy SciPy是构建在NumPy的基础之上的，它 提供了许多的操作NumPy的数组的函数。 SciPy是一款方便、易于使用、专为科学和 工程设计的Python工具包，它包括了统计 、优化、整合以及线性代数模块、傅里叶 变换、信号和图像图例，常微分方差的求 解等 scipy.cluster 向量量化 scipy.constants 数学常量 scipy

Scikit-learn概述 Scikit-learn是基于NumPy、 SciPy和 Matplotlib的开源Python机器学习 包,它封装了一系列数据预处理、机器学习算法、模型选择等工具,是数 据分析师首选的机器学习工具包。 自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了， scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学 符号标记 2.Scikit-learn主要用法 y_train | 训练集标签. y_test | 测试集标签. y | 数据标签. 8 2.Scikit-learn主要用法 导入工具包 from sklearn import datasets, preprocessing from sklearn.model_selection import train_test_split from 输入，前提是 数据必须是数值型的 ✓sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾 花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一 些toy data如S型数据等的生成工具 from sklearn.datasets import load_iris iris = load_iris() X = iris.data y = iris.target

(数据流图) 创建会话 (运行环境) 训练模型 数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数 据结构化和数据分析工具。 数据框（Data Frame）是一个二维带标记的数据结构，每列（column）数据类型 可以不同。我们可以将其当作电子表格或数据库表。 数据读入 pandas.read_csv 方法实现了快速读取 matplotlib的 Python 数据可视化库。它提供了更易用的高级接口，用 于绘制精美且信息丰富的统计图形。 mpl_toolkits.mplot3d 是一个基础 3D绘图（散点图、平面图、折线图等）工具集，也是 matplotlib 库的一部分。同时，它也支持轻量级的独立安装模式。 数据分析（2D） seaborn.lmplot 方法专门用于线性关系的可视化，适用于回归模型。 数据分析（2D） 可视化模型数据流图 TensorBoard 可视化工具 在数据处理过程中，用户通常想要可视化地直观查看数据集分布情况。 在模型设计过程中，用户往往需要分析和检查数据流图是否正确实现。 在模型训练过程中，用户也常常需要关注模型参数和超参数变化趋势。 在模型测试过程中，用户也往往需要查看准确率和召回率等评估指标。 因此，TensorFlow 项目组开发了机器学习可视化工具 TensorBoard ， 它通

. . . . . . . . . . . . . . . . . . . . 233 18 可视化 Visualization 234 19 Scikit-learn API 235 20 工具 236 20.1 CustomObjectScope [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 (如果你计划在 GPU 上运行 Keras，建议安装)。 • HDF5 和 h5py (如果你需要将 Keras 模型保存到磁盘，则需要这些)。 • graphviz 和 pydot (用于可视化工具绘制模型图)。 然后你就可以安装 Keras 本身了。有两种方法安装 Keras： • 使用 PyPI 安装 Keras (推荐)： sudo pip install keras 如果你使用 stride=1, start_index=0, end_index=None, shuffle=False, reverse=False, batch_size=128) 用于生成批量时序数据的实用工具类。 这个类以一系列由相等间隔以及一些时间序列参数（例如步长、历史长度等）汇集的数据 点作为输入，以生成用于训练/验证的批次数据。 参数 • data: 可索引的生成器（例如列表或 Numpy

解释器添加了图像处理功能。但是，在 2009 年发布 1.1.7 版本后，社区便停止更新和维护。 Pillow 是由 Alex Clark 及社区贡献者 一起开发和维护的一款分叉自 PIL 的图像工具库。 至今，社区依然非常活跃，Pillow 仍在快速迭代。 Pillow提供广泛的文件格式支持，高效的内部表示和相当强大的图像处理功能。 核心图像库旨在快速访问以几种基本像素格式存储的数据， 它应该为一般的图像处理工 它应该为一般的图像处理工 具提供坚实的基础。 https://github.com/python-pillow/Pillow captcha Catpcha 是一个生成图像和音频验证码的开源工具库。 https://github.com/lepture/captcha from captcha.image import ImageCaptcha from captcha.audio import 实现的 GraphViz 接口，支持使用 GraphViz 解析和存储 DOT语言 （graph description language）。其主要依赖 pyparsing 和 GraphViz 这两个工具库。 pyparsing：仅用于加载DOT文件，在 pydot 安装期间自动安装。 GraphViz：将图形渲染为PDF，PNG，SVG等格式文件，需独立安装。 https://github.com/lepture/captcha

Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29  PyTorch构建网络工具 torch.nn Module Linear Conv* *norm *Aative *Loss functional nn.Sequnce nn.Modelist forward 被自动的注册为参数。 autograd.Function-实现一个自动求导操作的前向和反向定义, 每个张量操作都会 创建至少一个Function节点，该节点连接到创建张量并对其历史进行编码的函数。 33 数据处理工具箱 34 4. 训练一个分类器 01 Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 35 4. 训练一个分类器 训练一个分类器流程 in_features]的张量变换成了[batch_size, out_features]的输出张量。 37 4. 训练一个分类器 torch.nn 计算图和autograd是十分强大的工具，可以定义复杂的操作并自动求导；然而对 于大规模的网络，autograd太过于底层。 在构建神经网络时，我们经常考虑将 计算安排成层，其中一些具有可学习的参数，它们将在学习过程中进行优化。 T