Qwen Qwen Team 2024 年 05 月 11 日 快速开始 1 文档 3 i ii Qwen Qwen is the large language model and large multimodal model series of the Qwen Team, Alibaba Group. Now the large language models have been ModelScope • Qwen1.5 Collection 加入社区，加入 Discord 和 微信群 。很期待见到你们！ 快速开始 1 Qwen 2 快速开始 CHAPTER1 文档 1.1 安装 要快速上手 Qwen1.5，您可以从 Hugging Face 安装 transformers 库，并使用 Qwen1.5 Collection 中的模型。 我们建议您安装最新版本的 generate() 配合 tokenizer 中的 apply_chat_template() 方法。 如果你想使用 Flash Attention 2，你可以用下面这种方式读取模型： 4 Chapter 1. 文档 Qwen model = AutoModelForCausalLM.from_pretrained( "Qwen/Qwen1.5-7B-Chat", torch_dtype="auto", device_map="auto"

6.3 期望和方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 2.7 查阅文档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.1 提交主要更改 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 764 16.6 d2l API 文档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767 16.6.1 模型 关于本书 这本书代表了我们的尝试——让深度学习可平易近人，教会人们概念、背景和代码。 1 一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得到充分的理解、充分的文档记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以

开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是 Scikit-learn 并不是专门面向神经网络而设计 的，不支持 GPU 加速，对神经网络相关层的实现也较欠缺。 ❑ Caffe 由华人贾扬清在 2013 年开发，主 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了 命令式编程和符号式编程混合方式，灵活性高，运行速度快，文档和案例也较为丰 富。 ❑ Keras 是一个基于 Theano 和 TensorFlow 等框架提供的底层运算而实现的高层框架， 提供了大量快速训练、测试网络的高层接口。对于常见应用来说，使用 列表中相对靠左侧的维度叫作大维度，shape 列表中相对靠右侧的维度叫 作小维度，比如[2,4,4,3]的张量中，图片数量维度与通道数量相比，图片数量叫作大维度， 通道数叫作小维度。在优先写入小维度的存储设定下，上述张量的内存布局为 1 2 3 4 5 6 7 8 9 … … … 93 94 95 数据在创建时按着初始的维度顺序写入，改变张量的视图仅仅是改变了张量的理解方 式，并不会改变

• 国内领先的云计算厂商 关于七牛云 智能多媒体服务 数据洞察 机器学习 内容生产者 内容消费者 内容采集 （上传加速） 内容分发 海量存储 海量富媒体数据的业务布局 视觉智能 Vision Intelligence 数据智能 Data Intelligence 海量存储 ���� ���� ���� 弹性计算 ��� ��� 智能网络

便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由 此引发一切后果贡献者概不负责。 The main reason of organizing PDF version Keras： • 允许简单而快速的原型设计（由于用户友好，高度模块化，可扩展性）。 • 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: Python 2.7-3.6。 1.2 指导原则 • 用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。 group。 • Keras Slack channel。使用 这个链接 向该频道请求邀请函。 你也可以在 Github issues 中张贴漏洞报告和新功能请求（仅限于此）。注意请先阅读规范 文档。 KERAS: 基于 PYTHON 的深度学习库 4 1.7 为什么取名为 Keras? Keras (κέρας) 在希腊语中意为 号角。它来自古希腊和拉丁文学中的一个文学形象，首先出 现于

词语矢量考虑了上下文及词语之间的语义关系  复杂词语可以通过矢量计算来实现（如 Vec（北京）＝ vec(东京) – vec(日本) + vec(中国) ）  矢量化模型的现况  词语的矢量化模型已经有开源实现方案  句子和文档的矢量化还在摸索阶段，尚不成熟  已经有一些在词语相似度，舆情分析等方面的应用 矢量化搜索模型 9 词语矢量化模型 CBOW: 通过上下文词语 来预测词语本身出现的概 率 Skip-gram: 词语i 与cluster j的余弦相似度 Random: 生成一个0 – 1之间的随机数 基于词语聚类的矢量化模型 12 • 把搜索词和商品文档各自作为整体看待，直接学习训练各自的矢量值 • 通过分析用户每次访问的行为顺序， 构建有“搜索词”和“商品文档”组成的句子 • 训练集是采用苏宁易购的用户搜索日志作为来源。在经过数据清理之后，按照搜索的 时间顺序，结合商品的点击，商品放入购物车，商品的购买这些用户行为，而建立的 应用示例：苏宁易购机器人Sunny，百度度秘，Amazon Echo 19 问题分析与用户分析 网页前端 移动应用前端 系统架构图 会话分析 用户意图识别 检索模块 段落或句 子检索 文档检 索 专业检索接口： 商品参数接口 商品价格接口 商品信息接口 商品卖点接口 促销活动接口 订单信息接口 语法语义分析 用户画像 Json/rest 答案获取和排序模块 答案实体抽取

MI3资质认 证、ISO9001质量管理体系认证、双软认证等最全面的企业服务资质。 权威认证的人工智能服务，可充分保障客户业务实践与业务安全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 文本挖掘的一些常见应用需求 风 险 智 能 审 核 功 能 达 观 智 能 文 档 审 阅 平 台 错 误 智 能 纠 正 功 能 文 档 智 能 比 对 功 能 常见应用场景 智能文档审阅系统：抽取核心算法 智能文档审阅系统：段落分析 PDF格式文本数据丢失段落信息 使用深度学习进行段落分析 生成式摘要 生成式摘要的深度学习网络基本结构 l 编码器/解码器结构，都是神经网络结构 l 输入的原文经过编码器编码变成向量

org/stable/tutorial/basic/tutorial.html ，scikit-learn (sklearn) 官方文档 2. https://sklearn.apachecn.org/ ，scikit-learn (sklearn) 官方 文档中文版 31 谢 谢！

该单词在原来文章中的重要程度 采用 TF-IDF 计算权重，公式为 ?? − ???(?, ?) = ??(?, ?) × ???(?) ??(?, ?) 表示单词 ? 在文档 ? 中出现的频率 ???(?) 是逆文档频率，用来衡量单词 ? 对表达语义所起的重要性，其表示为： ???(?) = log 文章总数 包含单词?的文章总数 + 1 文本特征提取 3. 特征提取 23 许永洪

0.0098, 0.0213, -0.0162, 0.0075, -0.0018]) 如何使用损失函数 稍后阅读： nn 包，包含了各种用来构成深度神经网络构建块的模块和损失函数，完整的文档请查看 here。 剩下的最后一件事: ● 新网络的权重 更新权重 在实践中最简单的权重更新规则是随机梯度下降（SGD）： weight = weight - learning_rate *