《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L 大规模视频训练框架 结构化策略 ���� ������ ���� ���� 主题分类-特征提取 DPN SENet ResNeXt NASNet 主题分类-模型训练 模型融合 a) Early

算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GP 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。

算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GP 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。

Transformer 结构应用于搜索推荐系统也成为业界的一个潮流。比如应用于对 CTR 预估模型进行特征组合的 AutoInt[3]、行为序列建模的 BST[4] 以及重排序模型 PRM[5]，这些工作都证明了 Transformer 引入搜索推荐领域能取得不错的效果，所 以美团搜索核心排序也在 Transformer 上进行了相关的探索。 本文旨在分享 Transformer 在美团搜索排序上的实践经验。内容会分为以下三个部 Embedding concat 一起送入到三层的 MLP 网络。 第一个版本：因为到原来的 Sum-pooling 建模方式没有考虑行为序列内部各行为的 关系，而 Transformer 又被证明能够很好地建模序列内部之间的关系，所以我们尝 试直接将行为序列输入到 Transformer Layer，其模型结构如图 3 所示： 图 3 Transformer 行为序列建模 行为序列建模 能够对序列内 item 的相互关系进行有效的建模来实现更好的表达，并且我们 离线实验不加 Transformer 编码层的 Attention-pooling，发现离线 NDCG 下降，从实验上证明了 Transformer 编码有效。 ● Transformer 编码为什么优于 GRU ？忽略 GRU 的性能差于 Transformer； 我们做过实验将行为序列长度的上限往下调，Transformer

文章/故事/诗歌写作 营销文案 、广告语生成 社交媒体内容（如推文 、帖子） 剧本或对话设计 l 摘要与改写 长文本摘要（论文 、报告） 文本简化（降低复杂度） 多语言翻译与本地化 l 结构化生成 表格 、列表生成（如日程安排 、 菜谱） 代码注释 、文档撰写 文本生成 文本生成 03 02 01 语义分析 • 语义解析 • 情感分析(评论、反馈) • 意图识别(客服对话、用户查 保持灵活应对：即使领导有情绪，坚持“解决问题”而非“对抗”态度，如：“您看这样 处理是否可行？我可以再调整。” 关键提醒： • 避免：“可能”“尽量”等模糊词汇，直接说“我能做到XX”。 • 证明可靠性：提前整理好交接文档（用AI辅助检查遗漏），主动降低领导风险感知。 • 人性化：适当流露脆弱（如“这次确实很难兼顾”），但强调“不愿让团队受影响”。 • 通过DeepSeek的理性分析和话 设定界限，明确尊重的重要性 • 示例：温和但坚定地说，“我理解您的用心，但我 希望我们能互相尊重。” 对话技巧 1.使用“我”语句：如“我感到担心…”，避免指责对方。 2.避免争论：专注于解决问题，而不是证明谁对谁错。 3.寻找共同目标：强调双方都希望孩子快乐和家庭和谐。 4.提前沟通：在情绪平静时，和婆婆提前讨论教育方式和家务 分配。 场景3：维持和领导的良好社交关系 背景：你是一名职场新人，

产力的良好指标。相反， 行业已经开始关注“工程效能”：我们不应该衡量生产力，而应该衡量我们知道对流程有贡献或有损害的事物。 我们不应该专注于个体的活动，而应该关注系统中的浪费来源以及可以从经验上证明导致开发人员对“生产力” 感知产生影响的条件。新的工具，比如 DX DevEx 360，通过关注开发者体验而不是一些虚假的产出衡量标准解 决了这个问题。然而，许多领导人仍然以模糊的、定性的方式衡 OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps

大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 116 美团外卖推荐情境化智能流量分发的实践与探索 129 大众点评搜索相关性技术探索与实践 152 美团 SemEval2022 结构化情感分析跨语言赛道冠军方法总结 174 检索式对话系统在美团客服场景的探索与实践 188 端智能在大众点评搜索重排序的应用实践 216 对话摘要技术在美团的探索（SIGIR） 238 [4],[10] 相关工作以及外卖技术 Represent-Learning 项目等，都取得了不错的正 向收益。 相比传统欧式空间结构类型数据，图结构数据具有以下特点： ● 结构化：图网络具备拓扑结构性，这种结构化特性往往代表了一些规律。例如 节点重要性，社区结构等。 ● 关联化：图网络提供了一种复杂关系和交互的度量方法。例如关联关系、依赖 关系可以通过图表征学习进行度量。 ● 取模块端到端学习用户兴趣。优点是一定程度从多峰和动态演变方面提升了用 户兴趣表达的准确性。缺点是较难学习到结构化信息，对于行为数据强依赖， 头部用户行为密集，中长尾用户行为稀疏。 ● Graph Neural Network（GNN）时代：万物皆图。序列可以看做是一个子 图，相比于序列，图结构数据对于信息的表达，更加结构化、完整、丰富。 在日常业务优化中我们也发现，如果说要找到一种形式化的建模语言能够准确、完整

——内化了企业流程、借助了大模型能力的、带有可交互界面的程序。2025 年会成为大模型应 用或 AI 应用之争。 另外还有一个趋势也很明显，就是知识管理和协作。我们都说这波 AI 浪潮把原来“没用” 的非结构化数据给激活了，所以我们马上会看到那些原来堆在角落里面的“冷”文件和知识（类 似 wiki）会被大量启用，“热”文件和知识会爆炸性增长，知识的协作和管理会成为新的问题— —就像你有再多的先进坦克和 Wikipedia 和 Common Crawl：Wikipedia 是一个由全球用户共同编辑和维护的高质量在 线百科全书,以文字为主，知识高度结构化，Common Crawl 是一个非营利组织，定期抓取互联 网公开网页，生成大量的网页数据集，可提供大量的互联网用户知识及非结构化数据。他们的共 同点是为模型训练提供了充沛的文字素材。这些大型文本数据集为自然语言处理（NLP）模型的 训练提供了丰富的语料库。像 Markdowner 等开源项目，能够将网页内容转换成适合 大模型处理的上下文，从而利用最新信息提升问题回答的质量。这些项目的共同目标是将原始数 据转化为有价值的资产，助力企业大规模部署 AI。 对于结构化数据，如对话历史记录和其他数据源的存储管理同样重要。向量数据库如 Chrom、Weaviate、Pinecone、Milvus 等，提供了语义检索和向量存储功能，使得 AI 应用 能够利用超出模型上下文限制的数据源。传统数据库

tl) => 1 + length(tl) // tl = Nil 4. } 模式匹配并替换标识符 1. 1 + 1 + length(Nil) ... 1 + 1 + 0 2 29 结构化递归 对基于递归定义的数据结构 定义对基础数据结构的计算 定义对递归数据结构的计算 1. fn length(list: List[Int]) -> Int { 2. match list 1 + length(tl) // 递归情形 5. } 6. } 每⼀次递归，我们都对原数据的⼦结构进⾏递归，且我们定义了终结情形，因此我们可 以保证程序终结 通常我们可以⽤数学归纳法证明结构化递归定义的函数是正确的 30 数学归纳法：以⼦列表⻓度为例 命题：对于任意列表 a ，令列表 a ⻓度为 ，⼦列表 tail(a) ⻓度为 ，则总有 1. fn tail(list: List[Int]) List[Int]) -> List[Int] { 2. match list { 3. Nil => Nil 4. Cons(_, tail) => tail 5. } 6. } 证明：对 a 分类讨论 若 a 为空（ Nil ），则⼦列表 tail(a) == a ，两者⻓度均为0，命题成⽴ 若 a 为⾮空（ Cons(head, tail) ），则⼦列表 tail(Cons(head

. . . . . . . . . . . . . . 335 1 0. 前言 0.1. 关于本书 本项目旨在创建一本开源免费、新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂、学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Java, C++, Python, Go, JS, TS, C#, Swift, Zig 等语言。 ‧ 标题注释，用于标注函数、类、测试样例等 */ // 内容注释，用于详解代码 /** * 多行 * 注释 */ 0.2.2. 在动画图解中高效学习 相较于文字，视频和图片具有更高的信息密度和结构化程度，因此更易于理解。在本书中，重点和难点知识 将主要通过动画和图解形式展示，而文字则作为动画和图片的解释与补充。 在阅读本书时，如果发现某段内容提供了动画或图解，建议以图为主线，以文字（通常位于图像上方）为辅， 了更丰 富的逻辑信息，但需要占用更大的内存空间。 1.2.3. 数据结构与算法的关系 「数据结构」与「算法」高度相关且紧密结合，具体表现在： ‧ 数据结构是算法的基石。数据结构为算法提供了结构化存储的数据，以及用于操作数据的方法。 ‧ 算法是数据结构发挥的舞台。数据结构本身仅存储数据信息，通过结合算法才能解决特定问题。 ‧ 特定算法通常有对应最优的数据结构。算法通常可以基于不同的数据结构进行实现，但最终执行效率