. . . . . . . . . . . . 7 2.1.3 通义千问 . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2.1 物体擦除 IOPaint . . . . . . . . . . . 40 3 1 AI 大模型基础 1.1 AIGC AIGC 是指使用人工智能模型生成内容的技术。这些内容可以包括图像、音频、 文本、视频、3D 模型等。具体来说，AIGC 技术可以生成如下类型的内容： • 图像：如照片、原创艺术作品 • 音频：如视频游戏中的配音、音乐 • 文本：如代码、广告文案、小说 • 3D 模型：如角色、场景 目前，AIGC 技 力的智 能系统。 1.3 大模型 大模型通常指的是大规模的人工智能模型，这类模型通过训练大量的数据来获 得广泛的知识和能力。这些模型通常具有庞大的参数数量，能够处理复杂的任 务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT 系列和 Google 的 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024

的产品信息、开发过程信息，从而更全面地理解和解决问题。目前排在 SWE-bench verified 前 4 位都使用了 Claude-3.5-Sonnet，而它是多模态的、具备处理文本和视觉信息的能力，使其能 够理解和修复包含图像或其他视觉元素的 GitHub 问题。 和工具集成的框架：可以支持智能体在处理复杂任务时进行更好的任务管理和执行，并促进 不同 AI 模型和工具之间的协作。 例如 Composio SWE-Kit 是计算机视觉领域最著名的开源数据集之一，包含数百万张带有标 签的图像。它为图像分类、物体检测等任务提供了丰富的数据资源，使得模型能够在视觉理解方 面取得突破。它由普林斯顿大学的计算机科学家李飞飞（Fei-Fei Li）及其团队在 2009 年创建。 ImageNet 包含超过 1400 万张图像，这些图像分为超过 2 万个类别，每个类别都与 WordNet 中的一个词条对应。每个类别的图像数量从数百到数千不等。ImageNet 今我们看到的种类繁多的视觉大模型（VLMs）开启了新的篇章。 COCO（Common Objects in Context）：COCO 数据集由微软于 2014 年发布，涵盖 51 / 111 了数十万张日常生活中的图像，并附有详细的标注信息。虽然 COCO 对比 ImageNet 具有更少 的类别,但每一个类别拥有更多的实例，假定这能帮助复杂模型提高物体定位的准确率。它的设 计初衷适用于具有上下文信息的图片中

角色扮演型提示语：要求AI扮演特定角色，模拟 特定场景。 4. 创意型提示语：引导AI进行创意写作或内容生成。 5. 分析型提示语：要求AI对给定信息进行分析和推 理。 6. 多模态提示语：结合文本、图像等多种形式的 输入。 表1-1-1提示语的本质特征 特征 描述 示例 沟通桥梁 连接人类意图和AI理解 “将以下内容翻译为法语：Hello, world” 上下文提供 者 为AI提供必要的背景信息 成一个全面的分析报告。 2. 请根据[主题]创建一个包含图像和数据可视化的报告，详细描述可视化方法。 3. 请设计一个融合文本、图像、音频或视频元素的多媒体内容，增强内容的丰富 性。 4. 请设计一个互动数据展示方案，使读者可以与数据进行互动，并详细描述设计 步骤。 5. 请将不同媒体形式的内容进行联动展示，例如将文字内容与图像和数据可视化 结合起来。 6. 请选用合适的数据可视化 （7）定位声明： 综合以上要素，创作一个简洁有力的定位声明。这个声明应清晰传达品牌是什么、为 谁服务、提供什么独特价值。 （8）视觉识别： 提出2—3个能直观体现品牌定位的视觉元素建议（如标志、色彩、图像风格等）。 评估标准： - 清晰度：定位是否易于理解和记忆 - 独特性：是否明显区别于竞争对手 - 相关性：是否与目标受众的需求和期望高度相关 - 可信度：是否基于品牌的实际优势和能力 - 持续性：是否具有长期发展潜力

角色扮演型提示语：要求AI扮演特定角色，模拟 特定场景。 4. 创意型提示语：引导AI进行创意写作或内容生成。 5. 分析型提示语：要求AI对给定信息进行分析和推 理。 6. 多模态提示语：结合文本、图像等多种形式的 输入。 表1-1-1提示语的本质特征 特征 描述 示例 沟通桥梁 连接人类意图和AI理解 “将以下内容翻译为法语：Hello, world” 上下文提供 者 为AI提供必要的背景信息 成一个全面的分析报告。 2. 请根据[主题]创建一个包含图像和数据可视化的报告，详细描述可视化方法。 3. 请设计一个融合文本、图像、音频或视频元素的多媒体内容，增强内容的丰富 性。 4. 请设计一个互动数据展示方案，使读者可以与数据进行互动，并详细描述设计 步骤。 5. 请将不同媒体形式的内容进行联动展示，例如将文字内容与图像和数据可视化 结合起来。 6. 请选用合适的数据可视化 （7）定位声明： 综合以上要素，创作一个简洁有力的定位声明。这个声明应清晰传达品牌是什么、为 谁服务、提供什么独特价值。 （8）视觉识别： 提出2—3个能直观体现品牌定位的视觉元素建议（如标志、色彩、图像风格等）。 评估标准： - 清晰度：定位是否易于理解和记忆 - 独特性：是否明显区别于竞争对手 - 相关性：是否与目标受众的需求和期望高度相关 - 可信度：是否基于品牌的实际优势和能力 - 持续性：是否具有长期发展潜力

本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 思维链，显著提高复杂任务的推理准确性，其长链推理能力在数学、 编程和自然语言推理等任务中表现出色。 • 多模态任务处理：DeepSeek R1 在多模态任务中表现出色，能够 处理复杂场景下的逻辑、公式识别及自然图像等问题，显示出其在 多模态任务中的广泛应用潜力。 训练方法：数据冷启，阶段递进 DeepSeek R1 采用了冷启动数据和多阶段训练的策略，以进一步提升模型的推理能力和可读性。  冷启动数据 1.多步骤 自主研究 2.端到端强化学习 3.深度信息整合 输入 提示 文本、图像、 PDF 解释、推理 调整 优化 查找、分析 综合数百个 在线资源 以研究分析师的水平 创建一份综合报告 端到端强化学习 训练 规划执行多步 骤研究流程 实时调整策略 回溯修正错误 文本 PDF 图像 【多格式数据】 支持搜索多格式数据， 整合多模态信息，生 成带引用和思考过程 总结的报告

国外：GPT-4等效智能在过去18个月内价格下降240倍  国内：大模型「亏本」卖，可以「白嫖」大模型API能力 19政企、创业者必读 DeepSeek出现之前的十大预判 之七 多模态越来越重要  由文本生成迈向图像、视频、3D内容与世界模拟  多模态模态在能力变强的同时，规模正在变小 20政企、创业者必读 21 DeepSeek出现之前的十大预判 之八 智能体推动大模型快速落地  能够调用各种工具，具有行动能力 未来产业 创意 能力 赋能企业 数转智改 数学计算 语义理解 逻辑推理 语言翻译 文本创作 自动驾驶 具身智能 1 2 4 5 知识问答 代码编程 文本生成 多轮对话 图像生成 视频生成 音频生成 A I 数字人 生物制药 新材料研究 脑机接口 基础科学 能源自由 宇宙探索 生命科学 科学 能力 6 AI Fo r Science 知识管理（ 内部知识管理、 原料无人天车吊装 控制 • 生产现场运输状态 监控 • 现场路线智能调度 • 智能化能源调度 • 料场智能调度 • 燃料水分视觉分析 • 多角度废钢图像 采集 • 废钢智能定级 • 杂质识别 & 扣杂 • 废钢槽编号识别 • 多角度废钢图像采集 • 废钢智能定级 • 杂质识别 & 扣杂 • 废钢槽编号识别 • 皮带胶结头异常检测 • 皮带跑偏检测 • 烧结皮带跑偏检测 • 皮带托辊异常检测

通用问答 专业领域问答 因果推理 知识推理 问答系统 逻辑推理 自然语言处理 文本生成与创作 建议生成 风险评估 辅助决策 概念关联 知识整合 交互能力 情感分析 文本分类 图像理解 跨模态转换 专业建议 任务分解 情感回应 上下文理解 对话能力 多轮对话 数学运算 逻辑分析 能力图谱 诗歌创作 语音识别 指令理解 方案规划 实体识别 l 文本创作 特定场景 。 4. 创意型提示语： 引导AI进行创意写作或内容生成 。 5. 分析型提示语： 要求AI对给定信息进行分析和推 理 。 6. 多模态提示语： 结合文本 、图像等多种形式的 输入 。 提示语类型 提示语的本质 提示语的类型

颜色系统间的转换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1263 23.7 imghdr --- 推测图像类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1263 23.8 sndhdr --- 弱引用的主要用途是实现保存大对象的高速缓存或映射，但又不希望大对象仅仅因为它出现在高速缓存或映 射中而保持存活。 例如，如果您有许多大型二进制图像对象，则可能希望将名称与每个对象关联起来。如果您使用 Python 字典 将名称映射到图像，或将图像映射到名称，则图像对象将保持活动状态，因为它们在字典中显示为值或键。 weakref 模块提供的WeakKeyDictionary 和WeakValueDictionary 和WeakValueDictionary 类可以替代 Python 字典，使用弱 引用来构造映射，这些映射不会仅仅因为它们出现在映射对象中而使对象保持存活。例如，如果一个图像 对象是WeakValueDictionary 中的值，那么当对该图像对象的剩余引用是弱映射对象所持有的弱引用时， 垃圾回收可以回收该对象并将其在弱映射对象中相应的条目删除。 WeakKeyDictionary 和WeakValueDictionary

颜色系统间的转换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1192 23.7 imghdr --- 推测图像类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1192 23.8 sndhdr --- 推测声音文件的类型 弱引用的主要用途是实现保存大对象的高速缓存或映射，但又不希望大对象仅仅因为它出现在高速缓存 或映射中而保持存活。 例如，如果您有许多大型二进制图像对象，则可能希望将名称与每个对象关联起来。如果您使用 Python 字典将名称映射到图像，或将图像映射到名称，则图像对象将保持活动状态，因为它们在字典中显示为 值或键。weakref 模块提供的WeakKeyDictionary 和WeakValueDictionary 和WeakValueDictionary 类可以替代 Python 字典，使用弱引用来构造映射，这些映射不会仅仅因为它们出现在映射对象中而使对象保持存活。例如， 如果一个图像对象是WeakValueDictionary 中的值，那么当对该图像对象的剩余引用是弱映射对象 所持有的弱引用时，垃圾回收可以回收该对象并将其在弱映射对象中相应的条目删除。 WeakKeyDictionary 和WeakValueDictionary

颜色系统间的转换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1331 22.7 imghdr --- 推测图像类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1331 22.8 sndhdr --- 弱引用的一个主要用途是实现一个存储大型对象的缓存或映射，但又不希望该大型对象仅因为它只出现在这 个缓存或映射中而保持存活。 例如，如果你有许多大型二进制图像对象，你可能希望为每个对象关联一个名称。如果你使用 Python 字典 来将名称映射到图像，或将图像映射到名称，那么图像对象将因为它们在字典中作为值或键而保持存活。 weakref 模块提供的WeakKeyDictionary 和WeakValueDictionary 和WeakValueDictionary 类可以替代 Python 字典，它们使 用弱引用来构造映射，这种映射不会仅因为对象出现在映射中而使对象保持存活。例如，如果一个图像对象 是WeakValueDictionary 中的值，那么当对该图像对象的剩余引用是弱映射对象所持有的弱引用时，垃 圾回收器将回收该对象，并删除弱映射对象中相应的条目。 WeakKeyDictionary 和WeakValueDictionary 在它们