. . . . . . . . . . . . . . . . . . . . 312 8.4.1 无隐状态的神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313 8.4.2 有隐状态的循环神经网络 . . . . . . . . . . . . . . . . . . . . . . . 门控循环单元（GRU） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 9.1.1 门控隐状态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 9.1.2 从零开始实现 . 354 9.4.3 双向循环神经网络的错误应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.5 机器翻译与数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 9.5.1 下载和预处理数据集

具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes control plane 所⽤的API 与开发⼈员和⽤户可⽤的API相同。⽤户可以使⽤ their own API 编写⾃⼰ 的控制器，例如 scheduler ），不限制⽀持的语⾔运⾏时（例如Java，Python， Ruby），不局限于 12-factor applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 。实际上，它消除了编制的需要。编制的技术定义，就是执⾏定义的⼯作流： ⾸先执⾏A，然后B，然后执⾏C。相反，Kubernetes由⼀组独⽴、可组合的控制进程组成，这些控制进程可将当前状 态持续地驱动到所需的状态。 如何从A到C不要紧，集中控制也不需要；这种做法更类似于编排 。 这使系统更易⽤、更 强⼤，更具弹性和可扩展性。 译者按：编排和编制：https://wenku.baidu.com/view/

ChatGPT，Google Bard，Meta 的 LLaMA 以及亚马逊的 Bedrock 等）在我们的讨论中占据重要地位。更广泛来说，大语言模型可以应用于从 内容生成（文本、图片和视频）、代码生成到总结概述和翻译等各种问题。通过自然语言的抽象层，这些大模型 成为了强大的工具库，被诸多信息工作者广泛使用。我们讨论了大语言模型的各个方面，包括自托管式大语言 模型，相较云托管的大语言模型，它支持更多的定制和管 债务，我们不断体验到团队对其生态系统的改进。通过有效分配资源来解决与健康状况相关的最有影响的问题， 团队和组织可以降低长期维护成本，更高效地发展产品。这种方法还能加强技术和非技术利益相关者之间的沟 通，促进对系统状态的共同理解。尽管不同组织的衡量标准可能有所不同（请参阅本博文中的示例），但它们最 终都有助于实现长期可持续性，并确保软件保持适应性和竞争力。在瞬息万变的数字环境中，专注于跟踪系统 的健康状况与债 是一个全自动的本地化平台，它支持特定上下文的翻译。我们的团队在 ETL 流程或开发工作流中使用 Lokalise API 来翻译可本地化的内容。 Lokalise 支持多种文件格式的可本地化字符串。一个值得强调的方面是它 支持上传整个文件，其中每个键 - 值对都被视为单独的记录并被翻译。在底层，我们利用了 Lokalise 与 Google MT 的集成来处理翻译。 Lokalise 的 Web 界

Task-Bot: task-oriented bot 用户 语音合成 (TTS) 语言产生 (NLG) 语音识别 (ASR) 语言理解 (SLU) 策略优化 (DPO) 状态追踪 (DST) inform(order_op=预订, restaurant_name=云海肴, subbranch=中关村店) request(phone, name) 理解模块 对话管理 语言理解 (SLU) Steve Young (2016) 状态追踪 Dialogue State Tracking (DST) • 对话状态应该包含持续对话所需要的各种信息 • DST问题：依据最新的系统和用户动作，更新对话状态 • Q：如何表示对话状态 状态追踪 (DST) 旧状态 用户动作 系统动作 新状态 策略优化 Dialogue Policy Optimization (2014) 语言生成 Natural Language Generation (NLG) • 把结构化的系统动作翻译成人类的语言 Steve Young (2016) 语言生成 Natural Language Generation (NLG) • 把结构化的系统动作翻译成人类的语言 • Semantically Conditioned LSTM (SC-LSTM) Tsung-Hsien

部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 章为模型算法应用部分，主要介绍常见的算法与模型，让读者能够 学有所用。 在本书中编写时，很多英文词汇尚无法在业界找到一个共识翻译名，因此作者备注翻译 的英文原文，供读者参考，同时也方便读者日后阅读相关英文文献时，不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书 超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽 管目前能达到的智能水平离通用人工智能(Artificial General Intelligence，简称 AGI)还有一 2019 OpenAI Five ResNet 2015 2014 VGG GooLeNet 2015 Batch Normalization 德州扑克 Pluribus 2019 机器翻译 BERT 2018 TensorFlow 发布 2015 PyTorch 0.1 发布 2017 2018 PyTorch 1.0 发布 图 1.9 深度学习发展时间线 1

机交流 应用：智能问答，机器翻译，文本分类，文本摘要，标 签提取，情感分析，主题模型 NLP发展简史 1950S 1980s 1990s 2006~至今 以机器翻译为开端，作 为早期尝试，但不是很 成功 基于统计机器学习技术 及语料库，使用统计模 型，NLP发展产生革新 多数自然语言处理系统 基于规则，人工修订等 方式，包括问答、翻译、 搜索等 深度学习起步、发展及 erstanding-LSTMs/ 1，单元状态丢弃 2，新信息选择 3，单元状态更新 4，确定输出 使用深度学习解决NLP问题 03 深度学习用于各类型文本应用的实践方法 文本挖掘各种类型应用的处理框架 文本数据 结果 预处理 输出层 表示层 隐层 不同深度学习模型 后处理 NER 分词 情感分析 文本分类 机器翻译 … 文本分类 传统机器学习 • 选择

Transformer介绍 为什么需要用transformer 其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等） 来 作为编解码器。RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然 后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也 使得它不能够并行计算，模型效率十分低。 在没有transformer的时候，我们 都是用什么来完成这系列的任务 1.Transformer介绍 Seq2Seq任务 Seq2Seq 任务指的是输入和输出都是 序列的任务，输出的长度不确定时采 用的模型，这种情况一般是在机器翻 译的任务中出现，将一句中文翻译成 英文，那么这句英文的长度有可能会 比中文短，也有可能会比中文长，所 以输出的长度就不确定了。 上图，输入的中文长度为4，输出的英文长度为2 6 1.Transformer介绍 Encoder-Decoder模型 息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。 10 2017年google的机器翻译团队在 NIPS上发表了Attention is all you need的文章，开创性地提出了 在序列转录领域，完全抛弃 CNN和RNN，只依赖Attention-注 意力结构的简单的网络架构， 名为Transformer；论文实现的 任务是机器翻译。 Transformer结构 Multi-Head Attention

Facebook AI Research（FAIR）担任研究科 学家。 主要贡献：设计了ResNets 8 国内外知名人工智能企业榜单 编码 企业名称 人工智能技术 应用领域 所属国家 成立时间 资本市场状态 市值/估值/融资额 1 Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 翻译 传统翻译采用人工查词的方式，不但耗时长 ，而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度，用户通 过简单的拍照、截图或划线就能得到准确的 翻译结果。 体育赛事 计算机视觉还有助于比赛和策略分 析、球员表现和评级，以及跟踪体育 节目中品牌赞助的可见性。 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 翻译 、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识 别等。 可以说，自然语言处理就是要计算机理解自然语言，自然 语言处理机制涉及 两个流程，包括自然语言理解和自然语言生成 ，自然语言理解是让计算机把

Review | Approved | Obsolete Created: 12/18/2018 Release Version: N/A Approvers: xxx [], xxx [] （摘要翻译：https://skyao.io/learning-istio/mixer/design/v2.html）Part 1：ServiceMesh灵魂拷问一：要架构还是要性能？ Mixer v2 Proposal的核心 WebAssembly不是一门编程语言，而是一份字节码标准。 WebAssembly字节码是一种抹平了不同CPU架构的机器码， WebAssembly字节码不能直接在任何一种CPU架构上运行， 但由于非常接近机器码，可以非常快的被翻译为对应架构 的机器码，因此WebAssembly运行速度和机器码接近。（类 比Java bytecode） (摘录自http://blog.enixjin.net/webassembly-introduction/)使用Web Mixer Adapter Mixer Adapter Envoy对Web Assembly的支持预计有 希望在3-6个月内实现 Mixer v2从提出到现在8个月 了，依然是In Review状态 - Istio能否接受Mixer v2？ - 如果接受，什么时候开 工？ - 如果开工，什么时候完 工？ - 如果完工，什么时候稳 定？ Owner: mtail@google.com

pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1 维标量是一种 tensor； 向量也是一种 tensor；而一些微分量，例如梯度、导数等也都是 tensor；矩阵也是张量；多张矩 阵或者多张图像也是张量（3 维张量）。我们在做实验时，可以将 本章我们的目标是把神经网络做的更完善。 3.1 模型的加载与保存 有时候我们希望将训练了一定轮数的模型参数保存起来，这个时候我们就需要保存和恢复模 型了。 model.state_dict() 函数可以得到模型的状态字典，里面包含了模型的参数权重与 bias 等信 息，我们可以用下面的代码来保存和恢复模型： # 保 存 模 型 torch . save ( model . state_dict () , path load_state_dict ( torch . load ( path ) ) 其中，path 是保存模型的路径。有时候我们希望能同时保存模型的一些其他信息，比如 epoch 和优化器的类型，这时我们可以生成一个状态字典： # 保 存 模 型 state = { ’ model ’ : model . state_dict () , ’ optimizer ’ : optimizer . state_dict