从推荐模型的基础特点看
 袁镱 腾讯 个⼈简介 � ⽆量系统 � 项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 [ISCA2020 RecNMP] � 千亿级推荐模型应⽤ O1. 千亿级特征（TB级）的模型的在线/离 线训练，在线推理服务和持续上线 O2. 针对推荐特点的深度优化，达到业界先 进⽔平 推荐系统的核⼼特点 � Feature 1（基本特点） 1.1 User与推荐系统交互，7*24⼩时 流式学习 1.2 Item和User新增，离开/遗忘， Embedding空间动态变化。 短期命中的⾼频key随时间缓慢变化

图 2 Roofline Model 介绍图 于是，我们基于硬件感知神经网络设计的思想，对 Backbone 和 Neck 进行了重新 设计和优化。该思想基于硬件的特性、推理框架 / 编译框架的特点，以硬件和编译友 好的结构作为设计原则，在网络构建时，综合考虑硬件计算能力、内存带宽、编译 优化特性、网络表征能力等，进而获得又快又好的网络结构。对上述重新设计的两 个检测部件，我们在 YOLOv6 通用目标检测开源框架 YOLOv6 在 美团的量化部署实战 作者：庆源 李亮 奕铎 张勃 王新 祥祥 1. 背景和难点 YOLOv6 是美团发布的一款开源的面向工业应用的 2D 目标检测模型 [1]，主要特点 是速度快、精度高、部署友好，在美团众多视觉业务场景中都有着广泛的应用。通过 量化（Quantization）提升推理速度是实际工业应用中的基本操作，但由于 YOLOv6 系列模型采用了大量的重参数化模块，如何针对 问题，包括推荐、广告，行为预测等；第二阶段聚焦在传统行业问题，比较关注教育、环 境、医疗等领域；而在第三阶段，自 2019 年以来，重点关注非监督问题，例如 AutoML、 Debiasing、强化学习等问题，这类比赛的共同特点是通过以前方法难以解决现有的 新问题。这三个阶段趋势也一定程度反应着当前工业界与学术界的难点与重点，无论 从方式、方法，还是从问题维度，都呈现出从窄到宽，从标准向非标准演进的趋势。 图 2 KDD

架构的思考 03 模块化开发框架 04 开源新时代的挑战 05 ⾯向云原⽣的软件交付 第⼀部分 ⾯向云原⽣的企业软件产品 - 敏捷开发 - 微服务化和容器化 - 交付标准化 - 可观察性 特点： 敏捷的⽬标是提升研发效能 需要⼀个 DevOps 平台来⽀撑敏捷开发的落地 这⾥需要有⼀个标准的交付平台 运⾏环境 业务 数据 业务系统 C 业务 数据 业务系统 A 业务 数据 Jetty ZooKeeper 特点: 插件化体系 ⼀次安装 应⽤观测 应⽤系统: Servlet Service Dubbo- RPC JVM Middlewares: MyBatis Redis ElasticSearch Jetty 特点: ⽆侵⼊的实现⽅案 告警 告警项: 告警⽅式 通知⽅式 报告: 系统异常状况汇总 特点: 智能 通知分组 ⽇志分析 访问明细: 分布式⽇志查询 特点: 分布式⽀持 错误归集 浏览器洞察 访问明细: 设备 浏览器 访问路径 性能明细 (Resource Timing & Navigation Timing API) 报告: ⻚⾯性能 Ajax性能 ⻚⾯错误 特点: ⽆埋点的实现⽅案 运⾏时拓扑 访问明细: TraceId SpanId 报告: 实时⽹络拓扑图 实时调⽤延迟展示 特点: 实时反应系统状况

们借 鉴 AutoInt[3] 的方法，采用 Transformer Layer 进行特征的高阶组合。 模型结构 我们的模型结构参考 AutoInt[3] 结构，但在实践中，根据美团搜索的数据特点，我们 对模型结构做了一些调整，如下图 2 所示： 图 2 Transformer&Deep 结构示意图 算法 < 27 相比 AutoInt[3]，该结构有以下不同： ● 保留将稠密特征和离散特征的 都以短文本为主，我们尝 试在预训练和 Fine-tuning 阶段融入图谱品类和实体信息，弥补 Query 和 Doc 文本 信息的不足，强化语义匹配效果。 引入品类信息的预训练 由于美团搜索多模态的特点，在某些情况下，仅根据 Query 和 Doc 标题文本信息很 难准确判断两者之间的语义相关性。如 < 考研班，虹蝶教育 >，Query 和 Doc 标题 文本相关性不高，但是“虹蝶教育”三级品类信息分别是“教育 可以看出，各项优化对线上排序核心指标都带来稳定的提升。用户行为数据存 在大量噪声不能直接拿来建模，我们基于美团搜索排序业务特点设计了一些规则对训 练样本进行优化，还借助 POI 的品牌信息对样本进行映射和过滤。通过人工对样本 进行评测发现，优化后的样本更加符合排序业务特点以及“人”对相关性的认知，同 时线上指标的提升也验证了我们优化的有效性。知识融合的 BERT 模型引入大量结 56 > 美团

体系结构，极大的提高代码的重用性和可维护性。 2Singleton 设计模式也称“单子模式”或“单例模式”。 大纲 多态性 方法重载 关键字 static 关键字 final 经典设计模式分类 创建型模式 涉及对象的实例化，特点是不让用户代码依赖于对象 的创建或排列方式，避免用户直接使用 new 创建对象。 工厂方法模式、抽象工厂方法模式、生成器模式、原型模式和单 例模式 行为型模式 涉及怎样合理的设计对象之间的交互通信，以及合理 模式涉及如何合理的使用对象组合机制。 适配器模式、组合模式、代理模式、享元模式、外观模式、桥接 模式和装饰模式 大纲 多态性 方法重载 关键字 static 关键字 final 经典设计模式分类 创建型模式 涉及对象的实例化，特点是不让用户代码依赖于对象 的创建或排列方式，避免用户直接使用 new 创建对象。 工厂方法模式、抽象工厂方法模式、生成器模式、原型模式和单 例模式 行为型模式 涉及怎样合理的设计对象之间的交互通信，以及合理 模式涉及如何合理的使用对象组合机制。 适配器模式、组合模式、代理模式、享元模式、外观模式、桥接 模式和装饰模式 大纲 多态性 方法重载 关键字 static 关键字 final 经典设计模式分类 创建型模式 涉及对象的实例化，特点是不让用户代码依赖于对象 的创建或排列方式，避免用户直接使用 new 创建对象。 工厂方法模式、抽象工厂方法模式、生成器模式、原型模式和单 例模式 行为型模式 涉及怎样合理的设计对象之间的交互通信，以及合理

BitTorrent 特点： ● DHT ● 自驱动 ● 数据存储、索引 Chain-less 协议： ● IPFS ● Matrix ● BitTorrent 特点： ● DHT ● 自驱动 ● 数据存储、索引 Chain-less Vs blockchain 协议： ● Bitcoin ● Ethereum ● Polkadot 特点： ● 区块结构，链式存储 区块结构，链式存储 ● 激励机制 ● 数据交易 特点： ● Gas 费用 ● 沙盒环境 ● 链上存储租赁 ● 状态回滚 Smart contract smart contract 特点： ● Gas 费用 ● 沙盒环境 ● 链上存储租赁 ● 状态回滚 Smart contract Vs application chain app chain特点： ● Runtime 安全有开发者完全负责 indices metadata session staking sudo system timestamp finality-grandpa and more ... 应用场景 去中心化技术的特点包括，永不离 线、开源审查、数据加密、保护隐 私、分享权益等。 随着区块链技术的发展，交易成本、 确认时间、能源消耗、安全性、互通 性都有极大地提升。 国际支付 金融交易 去中心自 治组织 信息登记

Java 开发环境 Java 基本开发流程 Java 技术的特点 面向对象 Java 是一种以对象为中心，以消息为驱动的面向对 象的编程语言。 平台无关性 分布式 可靠性 多线程 网络编程 编译和解释并存 大纲 Java 技术概述 Java 平台核心机制 Java 开发环境 Java 基本开发流程 Java 技术的特点 面向对象 平台无关性 分为源代码级（需重新编译源代码，如 技术概述 Java 平台核心机制 Java 开发环境 Java 基本开发流程 Java 技术的特点 面向对象 平台无关性 分布式 可靠性 多线程 网络编程 编译和解释并存 大纲 Java 技术概述 Java 平台核心机制 Java 开发环境 Java 基本开发流程 Java 技术的特点 面向对象 平台无关性 分布式 可靠性 不支持直接操作指针，避免了对内存的非法访问； 自 Java 基本开发流程 Java 技术的特点 面向对象 平台无关性 分布式 可靠性 多线程 C++ 没有内置的多线程机制，需调用操作系统的 多线程功能来进行多线程序设计；Java 提供了多线 程支持。 网络编程 编译和解释并存 大纲 Java 技术概述 Java 平台核心机制 Java 开发环境 Java 基本开发流程 Java 技术的特点 面向对象 平台无关性 分布式 可靠性

础设施，并为大数据、物联网、人工智能等新兴领域的发展提供基 础支撑。加快推动云计算创新发展，顺应新一轮科技革命和产业变 革趋势，是推进中国式现代化进程的关键。 过去一年，全球和我国云计算产业保持快速发展，并呈现出以 下特点： 一是云计算战略价值在全球范围内持续提升。美国继“云优先” （Cloud First）、“云敏捷”(Cloud Smart)之后，又出台多个战略文件， 将云计算应用至相关领域，并明确提出通过云战略获取全球优势， 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次发布云计算白皮书。本白皮书聚焦过去一年多来云计算 产业的新发展新变化，总结梳理国内外云计算政策、市场、技术、 应用等方面的发展特点，并对未来发展进行展望。 目 录 一、全球云计算发展概述..................................................................... 级增长，单一节点问题可能会被无限放大，日常运行过程中一定会 伴随“异常”发生；同时，节点分布范围更广，节点数量更多，对 日常运维过程中的日志采集、变更升级等都带来了新的挑战。基于 以上挑战，系统稳定性保障领域呈现以下特点：一是“稳保体系” 创新促进业务稳定运行。稳定的业务系统保障了企业的连续运营、 用户体验和客户满意度，逐步成为企业业务持续领先的“关键要素”。 应综合考虑技术、机制和组织人员情况，采用多种技术手段，如混

“分析‘电车难题’中的功利主义 与道德主义冲突” 添加主观引导（如“你认为哪种对？”） 通用模型 需拆分问题，逐步追问 “先解释电车难题的定义，再对比 两种伦理观的差异” 一次性提问复杂逻辑 如何向AI表达需求 需求类型 特点 需求表达公式 推理模型适配策略 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议，依赖模型经验归纳 2 （4）平衡吸引力与专业性：在提示语中设置约束条件，避 免标题过于营销化或者过于学术化。 创作引导提示语（二） 应用示例 �内容结构的提示设计 高质量的内容结构通常体现以下特点： 层次感 节奏感 互动性 基于这些特点，内容结构的提示语设计应 该： （1）明确结构框架：在提示语中预设文章 的整体框架，确保内容展开有序。关键在 于设定每个部分的功能定位和重点。 （2）设置深度要求：针对不同层次的内容 注意事项： 1. 避免观点过于绝对 2. 确保数据来源可靠 3. 案例选择需要具有代表性 4. 互动设计要自然融入文脉 创作引导提示语（三） �论述逻辑的提示设计 高质量的内容结构通常体现以下特点： 证据链完整 逻辑递进 多维视角 每个观点都需要数据支撑、案例验 证或专家背书。与其他自媒体平台 相比，微信公众号的读者对论据的 权威性和可靠性要求更高。 论点之间需要形成清晰的递进关系，

“分析‘电车难题’中的功利主义 与道德主义冲突” 添加主观引导（如“你认为哪种对？”） 通用模型 需拆分问题，逐步追问 “先解释电车难题的定义，再对比 两种伦理观的差异” 一次性提问复杂逻辑 如何向AI表达需求 需求类型 特点 需求表达公式 推理模型适配策略 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议，依赖模型经验归纳 2 （4）平衡吸引力与专业性：在提示语中设置约束条件，避 免标题过于营销化或者过于学术化。 创作引导提示语（二） 应用示例 �内容结构的提示设计 高质量的内容结构通常体现以下特点： 层次感 节奏感 互动性 基于这些特点，内容结构的提示语设计应 该： （1）明确结构框架：在提示语中预设文章 的整体框架，确保内容展开有序。关键在 于设定每个部分的功能定位和重点。 （2）设置深度要求：针对不同层次的内容 注意事项： 1. 避免观点过于绝对 2. 确保数据来源可靠 3. 案例选择需要具有代表性 4. 互动设计要自然融入文脉 创作引导提示语（三） �论述逻辑的提示设计 高质量的内容结构通常体现以下特点： 证据链完整 逻辑递进 多维视角 每个观点都需要数据支撑、案例验 证或专家背书。与其他自媒体平台 相比，微信公众号的读者对论据的 权威性和可靠性要求更高。 论点之间需要形成清晰的递进关系，