《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L 大规模视频训练框架 结构化策略 ���� ������ ���� ���� 主题分类-特征提取 DPN SENet ResNeXt NASNet 主题分类-模型训练 模型融合 a) Early

CONTAINER PLATFORM 卸载 OPENSHIFT LOGGING 第 第 14 章 章 日志 日志记录 记录字段 字段 第 第 15 章 章 MESSAGE 第 第 16 章 章 结构 结构化 化 第 第 17 章 章 @TIMESTAMP 第 第 18 章 章 HOSTNAME 第 第 19 章 章 IPADDR4 第 第 20 章 章 IPADDR6 第 第 21 章 章 LEVEL 1. 关于 JSON OpenShift Container Platform Logging 您可以使用 JSON 日志记录配置 Log Forwarding API，将 JSON 字符串解析为结构化对象。您可以执行 以下任务： 解析 JSON 日志 为 Elasticsearch 配置 JSON 日志数据 将 JSON 日志转发到 Elasticsearch 日志存储 如需更多信息，请参阅关于 可以转发到安全的 Elasticsearch 实例，default 转发到内部 Elasticsearch 实例。 可选：添加到日志的标签。 可选：转发结构化的 JSON 日志条目作为 JSON 对象，在 structured 项。日志条目必须包含有效的 结构化 JSON；否则，OpenShift Logging 会删除 structured 字段，并将日志条目发送到默认索引 app-00000x。

CONTAINER PLATFORM 卸载 OPENSHIFT LOGGING 第 第 14 章 章 日志 日志记录 记录字段 字段 第 第 15 章 章 MESSAGE 第 第 16 章 章 结构 结构化 化 第 第 17 章 章 @TIMESTAMP 第 第 18 章 章 主机名 主机名 第 第 19 章 章 IPADDR4 第 第 20 章 章 IPADDR6 第 第 21 章 章 LEVEL 和命名空间会被正确显示。(LOG-2069) 在此次更新之前，当 ClusterLogForwarder 设置为 Elasticsearch OutputDefault 且 Elasticsearch 输出没有结构化键时，生成的配置包含身份验证的错误值。在这个版本中，修正了 使用的 secret 和证书。(LOG-2056) 在此次更新之前，OpenShift Logging 仪表板会显示一个空的 CPU 图形，因为引用无效指标。在 命名空间。(LOG-2051) 在此次更新之前，如果 ClusterLogForwarder 自定义资源(CR)实例的 outputDefaults.elasticsearch.structuredTypeKey 没有结构化密钥，则 CR 会将输出 secret 替 换为用来与默认日志存储通信的默认 secret。在这个版本中，定义的输出 secret 会被正确使用。 (LOG-2046) 1.21.2. CVE 例

⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎数据计算，AI数学模型、数据和 计算三者互为增强，全面升级⼤数据系统⾄⼤模型时代 ，赋能⾏业AI场景应用。 具备整体数据平台⽅案，支持多模数据处理（结构化、半结构化 以及非结构化数据），实现数据共享和分析。 软件优化 + 新硬件（FPGA）加速，实现数据全链路的性能飞跃， 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie 、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 Lakehouse引擎，1个硬件加速器，应对各种场景的计算，同时也兼容Spark、 Flink等计算任务，保留用户的使用习惯。 ⽣态完善，支持主流的开发语⾔和数据科学⼯具，支持多模数据处理（结构化、 半结构化以及非结构化），提供标准的SQL接⼝和API，完成各种复杂场景的数 据处理，业务开发周期短，现存的代码基本可以⽆缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容，

算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 据任务需求选择合 适的模型，实现最佳效果。 提示语策略差异 1 2 推理模型 通用模型 • 提示语更简洁，只需明确任务目标和 需求（因其已内化推理逻辑）。 • 无需逐步指导，模型自动生成结构化 推理过程（若强行拆解步骤，反而可 能限制其能力）。 • 需显式引导推理步骤（如通过CoT提 示），否则可能跳过关键逻辑。 • 依赖提示语补偿能力短板（如要求分 步思考、提供示例）。 关键原则

算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 限于模式识别和优化，缺乏真正的创新能力 能够生成新的创意和解决方案，具备创新能力 人机互动能力 按照预设脚本响应，较难理解人类情感和意图 更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 据任务需求选择合 适的模型，实现最佳效果。 提示语策略差异 1 2 推理模型 通用模型 • 提示语更简洁，只需明确任务目标和 需求（因其已内化推理逻辑）。 • 无需逐步指导，模型自动生成结构化 推理过程（若强行拆解步骤，反而可 能限制其能力）。 • 需显式引导推理步骤（如通过CoT提 示），否则可能跳过关键逻辑。 • 依赖提示语补偿能力短板（如要求分 步思考、提供示例）。 关键原则

OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps OIDC for GitHub Actions 8. 使用 Terraform 创建监控和告警 9. ReAct 提示工程 10. 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 有益补充。 12. 大语言模型半结构化自然语言输入 试验 在使用大语言模型的各种应用中，我们在半结构化自然语言输入方面取得了成功。结构化输入，如 JSON 文档， 清晰而精确，为模型提供了所寻求响应类型的指示。以这种方式限制响应有助于缩小问题空间，并且可以产生 更准确的响应，特别是当结构符合领域特定语言（DSL）的语法或模式情况下。我们还发现，将结构化输入与 自然语言注释或标记结合使用

get 的返回类型 。 tuple ：结构化绑定 • 可是需要一个个去 get 还是好麻烦。 • 没关系，可以用结构化绑定的语法： • auto [x, y, ...] = tup; • 利用一个方括号，里面是变量名列表，即 可解包一个 tuple 。里面的数据会按顺序 赋值给每个变量，非常方便。 tuple ：结构化绑定为引用 • 结构化绑定也支持绑定为引用： • auto &[x tuple ：结构化绑定为万能推导 • 不过要注意一下万能推导的 decltype(auto) ， 由于历史原因，他对应的结构化绑定是 auto && ： • auto &&[x, y, ...] = tup; // 正确！ • decltype(auto) [x, y, ...] = tup; // 错误！ • 对的，是两个与号 && 。 结构化绑定：还可以是任意自定义类！ 结构化绑定：还可以是任意自定义类！ • 其实，结构化绑定不仅可以解包 std::tuple ， 还可以解包任意用户自定义类： • 配合打包的 {} 初始化表达式，真是太便利了！ • 惊不惊喜？意不意外？ • 可惜 std::get 并不支持自定义类。 tuple ：用于函数多个返回值 • std::tuple 可以用于有多个返回值的函数。 • 如上一讲中所说，当函数返回值确定 时， return

任务优先级调度  异步并行迭代器  结构化并发 Ylong Runtime 对外 接口 APP/SA 调度器 提 交 任 务 Async function CPU Task CPU Task IO Task IO Task Executor 高 中 低 线程池 Reactor epoll fd1 fd2 …. 结构化并发 优先级 deadline Async Fusion of IO/CPU intensive 结构化并发 Structured Concurrency 核心在于通过一种父子结构化的方法实现并发程序，用具有明确入口点和出口 点的控制流结构来封装并发任务（可以是线程也可以是协程）的执行，确保所有派生任务在出口之前完 成。 Structured concurrency 结构化并发带来的好处：  更高的易用性，用户不再需要显示调用 await await  提高程序的可读性和可维护性  保证了变量生命周期合法，使子任务可以捕获父任务的变量 结构化并发 Structured concurrency Scope  Rust 线程中的结构化并发  阻塞等待所有 Scope 内的子线程任务完成  子线程执行的闭包中可以捕获 Scope 外的变 量 AsyncScope  将 std 库中 thread scope 的思想异步化

、HDFS、 MapReduce以及YARN 。可视化管理是Ambari，其他的计算引擎、列存数据库 等都需要额外的组件，应对不同的场景需要安装对应的组件和依赖。 生态丰富，对结构化数据、半结构化数据以及非结构化数据都支持，可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种 组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资 Lakehouse引擎，1个硬件加速器，应对各种场景的计算，同时也兼容Spark、 Flink等计算任务，保留用户的使用习惯。 生态完善，支持主流的开发语言和数据科学工具，支持多模数据处理（结构化、 半结构化以及非结构化），提供标准的SQL接口和API，完成各种复杂场景的数据 处理，业务开发周期短，现存的代码基本可以无缝迁移和复用。 国内自主研发，具备社区版、商业版以及云SaaS服务，与国产软硬件完美兼容， 用实践路径 πDataCS优势2: 全面支持大语言基础模型和私域数据结合做垂直应用 πDataCS优势3 ：云原生下eMPP计算引擎全面颠覆MPP技术，大模型数据计算新范式 SQL语言实现的结构化数据上的模型计算 打破企业数据孤岛，整合企业所有表格类数据资源 πCloudDB（强逻辑计算） 云原生数据库/ 虚拟数仓 eMPP专利技术发明者/虚拟数仓产品的全球行业领导者 计算引擎之