《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L 大规模视频训练框架 结构化策略 ���� ������ ���� ���� 主题分类-特征提取 DPN SENet ResNeXt NASNet 主题分类-模型训练 模型融合 a) Early

算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GP 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。

算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 劣势领域 发散性任务（如诗歌创作） 需要严格逻辑链的任务（如数学证明） 性能本质 专精于逻辑密度高的任务 擅长多样性高的任务 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GP 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。

Transformer 结构应用于搜索推荐系统也成为业界的一个潮流。比如应用于对 CTR 预估模型进行特征组合的 AutoInt[3]、行为序列建模的 BST[4] 以及重排序模型 PRM[5]，这些工作都证明了 Transformer 引入搜索推荐领域能取得不错的效果，所 以美团搜索核心排序也在 Transformer 上进行了相关的探索。 本文旨在分享 Transformer 在美团搜索排序上的实践经验。内容会分为以下三个部 Embedding concat 一起送入到三层的 MLP 网络。 第一个版本：因为到原来的 Sum-pooling 建模方式没有考虑行为序列内部各行为的 关系，而 Transformer 又被证明能够很好地建模序列内部之间的关系，所以我们尝 试直接将行为序列输入到 Transformer Layer，其模型结构如图 3 所示： 图 3 Transformer 行为序列建模 行为序列建模 能够对序列内 item 的相互关系进行有效的建模来实现更好的表达，并且我们 离线实验不加 Transformer 编码层的 Attention-pooling，发现离线 NDCG 下降，从实验上证明了 Transformer 编码有效。 ● Transformer 编码为什么优于 GRU ？忽略 GRU 的性能差于 Transformer； 我们做过实验将行为序列长度的上限往下调，Transformer

文章/故事/诗歌写作 营销文案 、广告语生成 社交媒体内容（如推文 、帖子） 剧本或对话设计 l 摘要与改写 长文本摘要（论文 、报告） 文本简化（降低复杂度） 多语言翻译与本地化 l 结构化生成 表格 、列表生成（如日程安排 、 菜谱） 代码注释 、文档撰写 文本生成 文本生成 03 02 01 语义分析 • 语义解析 • 情感分析(评论、反馈) • 意图识别(客服对话、用户查 保持灵活应对：即使领导有情绪，坚持“解决问题”而非“对抗”态度，如：“您看这样 处理是否可行？我可以再调整。” 关键提醒： • 避免：“可能”“尽量”等模糊词汇，直接说“我能做到XX”。 • 证明可靠性：提前整理好交接文档（用AI辅助检查遗漏），主动降低领导风险感知。 • 人性化：适当流露脆弱（如“这次确实很难兼顾”），但强调“不愿让团队受影响”。 • 通过DeepSeek的理性分析和话 设定界限，明确尊重的重要性 • 示例：温和但坚定地说，“我理解您的用心，但我 希望我们能互相尊重。” 对话技巧 1.使用“我”语句：如“我感到担心…”，避免指责对方。 2.避免争论：专注于解决问题，而不是证明谁对谁错。 3.寻找共同目标：强调双方都希望孩子快乐和家庭和谐。 4.提前沟通：在情绪平静时，和婆婆提前讨论教育方式和家务 分配。 场景3：维持和领导的良好社交关系 背景：你是一名职场新人，

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

能合约数据等，上链的数据全部持久化到底 层存储。不同的链， 存储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网 一致。XuperChain实 type=market] 问题引入 假设我们面临着这样的一个问题：“几个摄影师朋友找到你，他们的摄影作品 上传到自己的blog后总是被其他人盗用，使用水印之类的方法也无法避免像 截取部分这种情况，他们需要一个能证明摄影作品最早是由自己上传、而且 具有法律效力可供自己进行维权的工具” 显然区块链对于解决此问题有很大的帮助，它的不可篡改等特性很适合存证 维权的场景，我们可以通过XuperChain来构建一个存取证据的智能合约（担 这里可以使用系统状态的命令检查环境是否正常 1 xchain-cli status -H 127.0.0.1:37101 通过变更 -H 参数，查看每个节点的状态，若所有节点高度都是一致变化的，则证明环境部 署成功 搭建XPoA共识的超级链网络 XPoA是为许可链设计的共识算法，XPoA共识算法的原理可以参考超级链的 设计文档 XPoA技术文档 。许可链指的是所有参与链系统的节点，都需经过

合约数据等，上链的数据全部持久化到底 层存储。不同的链，存 储独立。底层存储支持可插拔，从而可以满足不同的业务场景 网络 负责交易数据的网络传播和广播、节点发现和维护。以P2P通信为 基础，实现全分布式 结构化拓扑网络结构，数据传输全程加密。 局域网穿透技术采用NAT方案，同一条流保 持长连接且复用。多 条链复用同一个p2p网络 共识 共识模块用于解决交易上链顺序问题，过滤无效交易并达成全网一 致。XuperChain实 XuperModel数据模型。 XuperModel是一个带版本的存储模型，支持读写集生成。该模型是比特币utxo 模型的一个演变。在比特币的utxo模型中，每个交易都需要在输入字段中引用 早期交易的输出，以证明资金来源。同样，在XuperModel中，每个事务读取的 数据需要引用上一个事务写入的数据。在XuperModel中，事务的输入表示在执 行智能合约期间读取的数据源，即事务的输出来源。事务的输出表示事务写入 为无结构和结 构化两大类: 1. 非结构化p2p网络：这种p2p网络是最普通的，没有对结构做特别的设计。 优点在于结构简单易于组建，网络局部区域内个体可以任意分布。对于节 点的加入和离开网络也表现地非常稳定,比特币网络使用的就是无结构化 的网络。但是这种网络主要有3个缺点，一是公网网络拥塞时传输效率 低，二是存在泛洪循环，三是消息风暴问题。 2. 结构化p2p网络：这种p2p网络的结构经过精心设计，目的是为了增加路由