llama.cpp llama.cpp 是一个 C++ 库，用于简化 LLM 推理的设置。它使得在本地机器上运行 Qwen 成为可能。该库是 一个纯 C/C++ 实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 这将启动服务，使用多个副本部署在最经济的可用位置和加速器上。SkyServe 将自动管理这些副本，监控其 健康状况，根据负载进行自动伸缩，并在必要时重启它们。 将返回一个 endpoint，所有发送至该 endpoint 的请求都将被路由至就绪状态的副本。 2. 运行如下命令检查服务的状态： sky serve status qwen 很快，您将看到如下输出： Services NAME VERSION UPTIME STATUS

分类问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.2 网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362 9.6 编码器‐解码器架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364 9.6.1 编码器 . . 特定的、面向目标的方式设计、训练和部署的。虽然他们的行为可能会给人一种通用智能的错觉，但设计的 基础是规则、启发式和统计模型的结合。其次，目前还不存在能够自我改进、自我推理、能够在试图解决一 般任务的同时，修改、扩展和改进自己的架构的“人工通用智能”工具。 一个更紧迫的问题是人工智能在日常生活中的应用。卡车司机和店员完成的许多琐碎的工作很可能也将是自 动化的。农业机器人可能会降低有机农业的成本，它们也将使收割作业自动化。工业革命的这一阶段可能对

案。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 美团超大规模模型应用场景 美团推荐 美团搜索 美团广告 美团应用场景简介 LBS相关的推荐 • 模型特点 百亿级别的训练数据 千亿级别的模型特征 秒级实时的模型反馈 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 超大规模模型的有效性 • VC维理论  描述模型的学习能力：VC维越大模型越复杂，学习能力越强  机器学习能力 = 数据 + 特征 + 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征 • 模型  DNN > 树模型 > LR 美团超大规模模型应用场景 • 可扩展的机器学习架构  基于Parameter Server架构  数据并行 —— 支持超大规模训练集  模型并行 —— 支持超大规模模型 • 业界千亿级以上的机器学习平台  开源： PaddlePaddle、XDL，etc

Need》 中提出了一种新的简单架构——Transformer，它完全基于注意力机制， 完全不用重复和卷积，因而这些模型在质量上更优，同时更易于并行化，并 且需要的训练时间明显更少。 ✓ Transformer出现以后，迅速取代了RNN系列变种，跻身主流模型架构基 础。（RNN缺陷正在于流水线式的顺序计算） 图：Transformer模型架构 33 首先通过词嵌入(Word Embedding)将字、词、 增强数据间的结构信息。其次通过Transformer等模式结合 上下文进行推导，生成最终文本。 ◼ Transformer架构可分为自回归系列（例如GPT-3，偏好生成性任务）、双向Transformer+Mask的自编码系列（例如BERT， 偏好自然语言理解）、Encoder-decoder架构（例如T5，使用双向/单向attention，偏好条件文本生成） 图：Transformer典型技术场景下的原理介绍如下所述 的不同语料库进行语言模型的生成性预训练，然后对每个特定任务 进行区分性微调，可以实现这些任务上的巨大收益。和之前方法不同，GPT在微调期间使用任务感知输入转换，以实现有效的传输， 同时对模型架构的更改最小。 图：GPT-1模型的核心手段是预训练（Pre-training） 无监督预训练 （Unsupervised pre-training） 不需要标注数据集，即大规 模自学阶段，在保证AI算力

@黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • 信息流 热门流 视频流 关系流 • MPI&RingAllreduce：Horovod，使用 MPI替换grpc，同步通信模式；带宽优化，增加延时； • PS&MPI：DistributionStrategy API，统一分布式语义，解耦分布式架构与模型训练框架 • 使用FP16通信，使用FP32做计算，带宽压力降低一倍 • IO优化 • 多线程样本并发读取，样本读取与计算PIPELINE，实现计算与IO的overlap 4 深度学习-深度学习模型训练 负载均衡/统一版本管理/动态加载/批量化机制 特征映射 Embedding 数据处理 异构GPU集群 CNN 业务应用 模型服务 框架 排序模型服务 多媒体分析服务 自然语言分析服务 集群调度层 核心架构层 算法模型层 4 深度学习-分布式模型推理 • 推理性能优化 • 减少计算量： operator fusion/XLA/TVM/prune/float16/quantization • 加快计算速度：

2017年google的机器翻译团队在 NIPS上发表了Attention is all you need的文章，开创性地提出了 在序列转录领域，完全抛弃 CNN和RNN，只依赖Attention-注 意力结构的简单的网络架构， 名为Transformer；论文实现的 任务是机器翻译。 Transformer结构 Multi-Head Attention Add & Norm Input Embedding Transformer出现以后，迅速取代了RNN系列变种，跻 身主流模型架构基础。（RNN缺陷正在于流水线式的 顺序计算） 图：Transformer模型架构 1.Transformer介绍 12 Transformer Transformer —— 大力出奇迹的起点 • 在Transformer提出之后，大模型的基础模 型架构基本形成，注意力机制代替卷积神 经网络称为主流基础模型组件 – (Q)、一个键向量(K)和一个值向量(V)。这三个向 量是通过词嵌入与三个权重矩阵后相乘创建的， 它们的维度是64，而词嵌入和编码器的输入/输 出向量的维度是512. 但实际上不强求维度更小， 这只是一种基于架构上的选择，它可以使多头注 意力（multiheaded attention）的大部分计算保 持不变。 X1与WQ权重矩阵相乘得到q1, 就是与这个单词相关 的查询向量。最终使得输入序列的每个单词的创建

/ wAUC Ø 在线评估 • 离线评估与线上效果正相关？ • A/B test测试 • 分目标人群测试：地域、活跃度… A B 小流量-实验组 小流量-对照组 数据对比分析 算法架构 互动行为 点击行为 阅读行为 能力标签 兴趣标签 亲密度 自然属性 账号属性 用户特征 关键词 类型属性 topic 内容标签 内容质量 内容特征 组合特征 标签匹配度 用户互动率 ReLU(128) ReLU(64) Cross product transformation Logistic loss 深度学习应用实践 —— wide & deep Ø Wide & deep 网络架构 • Deep—泛化能力 • Wide—记忆能力 Ø 新增特征 Ø Deep部分依然需要特征工程 • Contextual featues: 用户最 近的平均阅读时长、用户最近 的互动微博 DeepFM模型架构 • Deep part — 泛化力 Deep Output FM Output • FM—低阶特征组合 Logistic loss one-hot encode • End2End框架 Ø 优势 • Deep和FM共享 embedding层 总结展望 Ø 模型算法是手段 • 模型算法殊途同归 • 业务和数据决定模型算法的应用场景 • 计算力和算法架构是保障

华为云深度学习在文本分类中的实践 华为 Cloud&AI 李明磊 3 2 3 1 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 4 文本分类介绍 内容：  买没几天就降价一点都不开心，闪存跑分就五百多点点 ---  外观漂亮音质不错，现在电子产品基本上都是华为的了 ---  汽车不错，省油，性价比高 ---  这个政策好啊，利国利民 --- En Tn … … 分类器 模型： 数据： 手机不错，高大上 正面 手机太差劲了，又贵又卡 负面 续航给力，价格实在 正面 9 1 3 2 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 10 深度学习框架 Standard raw text Tokenization Indexing Pre embedding Classification 手機不錯，高大上 手机不错，高大上 [手 机 不 错 ，高 大 上] [1, 22, 32, 46, 876, 55, 98, 20] 11 1 2 3 4 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 12 数据不均衡 13 数据不均衡 预处理方法  上采样  下采样  SMOTE  数据增广 集成方法  SMOTEbagging

1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1（基本特点） � Feature 2（数据的时空 特点） � Feature3（机器学习 的特点） 训练框架—基于参数服务器架构的分布式训练框架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 只有部分参数被⽤到 � GPU训练的优势 � 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同 构性 推理服务—分布式Serving架构 � 读写架构 � 多线程⽆锁：基于模型版本的读写分离 � 多机：多副本并⾏读取 � CPU：固定64位key，基于L1缓存的查 询优化 � 业务需求 � 模型⼤⼩超TB � 单个请求需要15W个key 万 业界⽅案：Double Hashing 腾讯，阿⾥，头条也都⽀持了Double Hashing 场景 内存节省 场景1 88% 场景2 64% 下⼀步的 解空间 未来⽅向—现有推荐架构的问题，算法⼯程协同的解法 � 更基础的复杂模型，场景的快速适应 � 多场景建模 � 端云⼀体的协同 推荐技术 [KDD2020] DCAF: A Dynamic Computation

深度学习与商品搜索  矢量化搜索技术简介  基于词语聚类的矢量化  基于用户会话的矢量化  原型评测结果及效果示例 • 深度学习与聊天机器人  聊天机器人简介  聊天机器人主要模块及架构  深度学习探索  聊天机器人评测结果 6 • 语义词汇差异  理发器， 理发推子， 电推子  血糖计， 血糖仪  山地车，死飞，自行车，碟刹，折叠车，公路车， 单车 • 解决方案 如：经测评，当搜索词为“松下筒灯”， 易购网站返回6个相关结果， 美研方案返回64个相关结果 现有方案 原型系统 16 • 首先进行词语的矢量化 • 词语矢量作为各种深度学习模型的输入值 • 示例深度学习架构： dual RNN ( dual LSTM) • 利用用户反馈数据来补充训练样本 正在进行的探索 17 聊天机器人(chatbot) • 聊天机器人是一种聊天代理，它通过电脑程序设计与人类通过音频或文本进行 --Satya Nadella, Microsoft CEO 18 应用示例：苏宁易购机器人Sunny，百度度秘，Amazon Echo 19 问题分析与用户分析 网页前端 移动应用前端 系统架构图 会话分析 用户意图识别 检索模块 段落或句 子检索 文档检 索 专业检索接口： 商品参数接口 商品价格接口 商品信息接口 商品卖点接口 促销活动接口 订单信息接口 语法语义分析 用户画像