1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。 3.滑动窗口为我们的模型生成训练样本 数据集中为每个训练样本做一次（很可能数千万次）。我们 需要做一些事情来提高效率。 一种方法是将目标分成两个步骤： 1.生成高质量的单词嵌入（不要担心下一个单词预测）。 2.使用这些高质量的嵌入来训练语言模型（进行下一个单词 预测）。 19 3.Word2Vec 负采样 并不是每次迭代都训练全部10,000个，我们只训练其中 的5个，我们要训练对应真正目标词那一个分类器，再训练 4个随机选取的负样本，这就是

MOE = MOSN + Envoy 相互融合，各取所长 在 Service Mesh 领域，Envoy 和 MOSN 作为 其数据面 Sidecar 之一 ，用于解决传统服务治 理体系下的痛点如：多语言中间件组件开发适配 成本高、SDK 升级困难、技术复用度差、治理体 系不统一等。 MOE 背景介绍 — 为什么做 用户痛点 • east-west、north-south Gateway 技术栈不统一， 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不 方便；支持的库（SDK）相对较 少 WASM Extension 跨语言语言支持 （C/C++/Rust）、隔离性、安 全性、敏捷性 处于试验阶段，性能损耗较大； WASM 目前仅对C/C++/Rust 友好，对 GoLang Runtime 还未 完全支持； 不能复用已有的 SDK，需要做网 中，缓存、数据库、消息队列、配置管理等， 我们仍然需 要维护一套重量级的 SDK 并且侵入应用代码。 方案 提供 API 抽象层，应用程序中只针对这套标准的 API 编程， 无需考虑实际运行时的后端服务形态。 优点 • 多语言友好 • 标准化，无厂商绑定 • 真正实现 Write once, Run anywhere https://github

MoE = MOSN + Envoy 相互融合，各取所长 在 Service Mesh 领域，Envoy 和 MOSN 作为其数据面 sidecar 之一 ，用于解决传统服务治理体系下的痛点如： 多语言，中间件组件开发适配成本高、SDK 升级困难、 技术复用度差、治理体系不统一等。 MoE 背景介绍 — 为什么做 用户痛点 • east-west、north-south Gateway 技术栈不统一， 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不方便 支持的库（SDK）相对较少 WASM Extension 跨语言语言支持（C/C++/Rust）、 隔离性、安全性、敏捷性 处于试验阶段，性能损耗较大； WASM 目前仅对C/C++/Rust 友好， 对 GoLang Runtime 还未完全支持； 不能复用已有的 SDK，需要做网络 SDK，需要做网络 IO 适配改造 External-Proc Extension 跨语言支持、隔离性 需要跨进程通信性能低（UDS vs CGO 1KB Latency 差 8 倍)； 需要扩展具备 gRPC server 能力， 多进程管理复杂 MOSN(GoLang) Extension 可复用 MOSN 现有的 filter 能力， 改造成本低； 研发效率高，灵活性高； GoLang 支持的库比较多（Consul、

o u t 关于 OpenResty 和 Lua 的思考 一个菜鸟的视角 02 关于 OpenResty 和 Lua 的思考 Lua 适合 “ 平均水平 ” 的大团队做大工程吗 •动态类型语言 •网关产品对 runtime error 容忍度比较低 •Lua 开发环境，特别是 OpenResty 相关的比较弱 •难招人，后端开发转 lua 成本高昂 “A programming language indirection" The fundamental theorem of software engineering (FTSE) 基于 Apache APISIX 破局 What about… Rust + Lua + Nginx? 让 Lua 回归胶水本质！ 基于 Apache APISIX 破局 How ？ 基于Lua的C API(lua_*)，构建原生lua模块，产物为一个Shared • high-level lua rust binding • 相对安全 • 支持 module 模式，将 rust 构建为 shared object 供 lua 直接使用 • 支持 rust 高级语义 基于 Apache APISIX 破局 基于 Apache APISIX 破局 在 Luajit 上引入动态 lib 的性能考虑 • C/Rust to Lua的context switch

Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks, Inc. All Rights Reserved. Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映 我们目前对其的态度。 想要了解更多技术雷达相关信息，请点击： thoughtworks open-source LLMs for coding 在工具领域可能带来的变革，并且我们看到了在编码之外的辅助领域中工具和能力的爆炸式增 长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效

演讲者／陈宇恒 概要 • 我们是谁 • 智慧城市中机器视觉应用 • 我们是如何构建城市级AI+智慧城市系统 • 大规模深度学习实战系统的几点经验 l商汤科技联合创始人，架构师 lC++/Go/Rust/Ruby开发者 l多个开源项目贡献者 lNIPS国际会议论文作者 @chyh1990 2017.6 2016.3 2015.11 2014.6 2013.3 2011年中 2017 volume-awared scheduling Go语言在高性能系统中的实践经验 • 为什么用Go - 比起C++，更易于实践各种并发模式 - 比起Java，更加简洁，更易于与C/C++交互 - 比起脚本语言，类型和内存安全，保证重构效率与产品质量 - 完善的配套工具，如go test, gofmt, go lint, race-detector Go语言在高性能系统中的实践经验 • Go在开发高性能应用上也有一些不足，

奈何迟迟不能发布生产可用版本 • 性能和稳定性远远不能满足蚂蚁的 要求 • 但我们非常认可Istio的理念和方向 Conduit • 只支持k8s，而蚂蚁尚未普及k8s • 数据平面由Rust编写，过于小众，难于 从社区借力。 • 同样存在技术栈问题 • 公司和产品在社区知名度和影响力有限国内公司的选择之一：自研 华为：CES Mesher • 使用Golang编写 • 由go 全新实现（原有类库是基于Java） 老成持重的稳健思路：以proxy为切入口，第 一时间获取跨语言和技术栈下沉的红利，立足 之后再缓缓图之。 这个产品思路唯一的麻烦在于编程语言的选择国内公司的选择之二：开源方案定制 腾讯：Tencent Service Mesh • 数据平面选择Envoy：成熟产品，符合 腾讯语言体系，内部广泛使用 • 控制平面据传“挣扎了一下”，最终还 是选择Istio，进

敏捷性：过滤器可以动态加载到正在运行的Envoy进程中，而无需停止或重新编译。 ○ 可维护性：不必更改Envoy自身基础代码库即可扩展其功能。 ○ 多样性：可以将流行的编程语言（例如C/C++和Rust）编译为WASM，因此开发人员可 以选择实现过滤器的编程语言。 ○ 可靠性和隔离性：过滤器会被部署到VM沙箱中，因此与Envoy进程本身是隔离的；即使 当WASM Filter出现问题导致崩溃时，它也不会影响Envoy进程。

SOFAMOSN • C实现，支持多语言扩展 • 基于Nginx扩展 • 开发不活跃 • 老牌代理系统，业界广 泛使用，服务各类场景 • C++实现 • CNCF第三个毕业项目， ISTIO原生数据平面 • 开发活跃，最新版为1.9.0 • Google, Lyft主导，业界 众多公司使用中，重点搭 载ISTIO使用，服务各类 场景 • Rust实现 • CNCF项目，最早的 Service 通过扩展cluster类型的方式 动态获取配置中心后端 ü MOSN出向路由基于明确的 服务依赖关系生成 ü 服务通过 id:version 定义 ü 适用于SOA化服务，标准微 服务 ü 适用于跨语言通信的场景蚂蚁落地 – 复杂路由 ü 基于链式路由机制扩展，使 用router match，subset等 开源能力实现 ü 适配蚂蚁三地五中心机房部 署，LDC/弹性架构 ü 蚂蚁内部划分R/G/C三种

了解服务间的依赖关系以及服务间的网络数据流，从而可以快速发现问题。 1.2. SERVICE MESH 发行注记 1.2.1. 使开源包含更多 红帽承诺替换我们的代码、文档和网页属性中存在问题的语言。我们从这四个术语开始： master、 slave、blacklist 和 whitelist。这些更改将在即将发行的几个发行本中逐渐实施。有关更多详情，请参阅我 们的首席技术官 Chris Wright tracing Platform - 此组件基于开源 Jaeger 项目。 客户端 （Jaeger 客户端、跟踪器、报告程序、客户端库）- 分布式追踪平台客户端是 OpenTracing API 的特定语言实施。它们可以用来为各种现有开源框架（如 Camel (Fuse) 、 Spring Boot (RHOAR) 、MicroProfile (RHOAR/Thorntail) 、Wilfly (EAP) 从应用程序中移出更多常见的功能，并使用编译到 WebAssembly 字节代码的单一语言实现它们。 注意 注意 IBM Z 和 IBM Power Systems 不支持 WebAsembly 扩展。 1.19.1. WebAssembly 模块概述 WebAsembly 模块可以在很多平台上运行，包括代理，并有广泛语言支持、快速执行以及沙盒安全模型。 Red Hat OpenShift Service