训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 2、撰写python脚本； 3、提取并合并网址； 4、提取网址内容； 5、写入文件。 任务 你需要完成以下两个任务： 板等因素影响，仅供参考，无法作为决策制定、质量评估或产品验证的最终依据。 数据分析 Open AI o3mini 响应速度快，高效输出数据分析 结果，分析各因素对关键指标生 存率的影响，语言表达自然，重 点突出结合历史背景对数据规律 进行验证，但没有察觉数据异常。 DeepSeek R1 详细展示长思维链，精准提取关键指 标“幸存率”，分析多个因素特征对 幸存率的影响，结合历史背景对数据 3.5 sonnet 基于数据集，在整体数据概括后提供多个 深入数据挖掘方向，根据需求输入研究倾 向，高效生成多个维度的数据分析，语言 简洁，挖掘深度较浅。 Kimi k1.5 提供数据的潜在用途方向，深入分 析过程中，从多个维度（如时间、 语言、地区）深入挖掘数据意义和 关联性，进一步总结趋势结论并提 出相关建议。  Kimi k1.5该任务中表现最为出色，对特征进行精准

LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech 代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供了前

文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 理） 因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GPT-4（OpenAI），BERT（Google），主要用于语言生成、语言理解、文本分类、翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低

文章/故事/诗歌写作 营销文案、广告语生成 社交媒体内容（如推文、帖子） 剧本或对话设计 文本创作 长文本摘要（论文、报告） 文本简化（降低复杂度） 多语言翻译与本地化 摘要与改写 02 01 03 文本生成 自然语言理解与分析 知识推理 知识推理 逻辑问题解答（数学、常识推 理） 因果分析（事件关联性） 语义分析 语义解析 情感分析（评论、反馈） 意图识别（客服对话、用户查询） 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 强弱判断 并非全面更强，仅在其训练目标领域显著优于通用模型 通用场景更灵活，但专项任务需依赖提示语补偿能力 • 例如：GPT-3、GPT-4（OpenAI），BERT（Google），主要用于语言生成、语言理解、文本分类、翻译 等任务。 快思慢想：效能兼顾 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低

务，如自然语言理解、图像识别、语音识别等。 闭源大模型包括 OpenAI 的 GPT 系列和 Google 的 BERT。这些模型因其 高效的学习能力和强大的通用性而受到关注。 开源大模型以 Meta 的 Llama 系列，2024 年 4 月，Llama3 发布，包括 8B 和 70B 模型。 图 2，时间线主要根据技术论文的发布日期（例如提交至 arXiv 的日期）来 确定大型语言模型（大小超过 10B）的发展历程。如果没有相应的论文，我们 将模型的日期设定为其公开发布或宣布的最早时间。我们用黄色标记那些公开 可用的模型检查点。由于空间限制，我们只包括那些公开报道评估结果的大型 语言模型。 Figure 2: 各个大型语言模型发布时间线 5 1.4 基础概念 1.4.1 上下文窗口 上下文窗口指的是模型一次可以处理的最大文本长度。这个长度通常用“to- kens”（标记）来表示，每个标记可以是一个单词、子词或单个字符，具体取决 常用来表示模型在训练中处理的 Token 数量。Token 是指模型处理的 基本单元，可以是一个单词、子词，或者字符等。 在大规模预训练语言模型的训练中，通常会提到模型是在多少个 Token 上 进行学习的，以表明模型的训练规模和数据量。例如：LLaMA3 语言模型使用 了超过 15T 个 token 进行训练。 2 AI 工具梳理 大家有没有觉得 AI 工具太多，种类太多，老的还没用，新的就出来，头大得

复杂任务且可免费商用。性能对齐OpenAI-o1正 式版。 • DeepSeek-R1在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大 提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩OpenAl-o1正式版。 (Pass@1) (Percentile) 文体转换 个性化推荐 翻译与转换 多语言翻译 异常检测 多源信息融合 知识与推理 知识图谱构建 流程优化 数据可视化 数据分析 趋势分析 多模态交互 任务执行 任务协调 工具调用 格式转换 关系抽取 语言理解 文案写作 代码注释 故事创作 通用问答 专业领域问答 因果推理 知识推理 问答系统 逻辑推理 自然语言处理 文本生成与创作 建议生成 风险评估 文本创作 文章/故事/诗歌写作 营销文案 、广告语生成 社交媒体内容（如推文 、帖子） 剧本或对话设计 l 摘要与改写 长文本摘要（论文 、报告） 文本简化（降低复杂度） 多语言翻译与本地化 l 结构化生成 表格 、列表生成（如日程安排 、 菜谱） 代码注释 、文档撰写 文本生成 文本生成 03 02 01 语义分析 • 语义解析 • 情感分析(评论、反馈)

近年来，人工智能（AI）技术的快速发展催生了大型语言模型（（Large Language Model, LLM））的兴起。LLM 在自然语言处理（NLP）领域 发挥着越来越重要的作用，广泛应用于智能问答、文本生成、代码编写、机 器翻译等任务。LLM 是一种基于深度学习的人工智能模型，其核心目标是 通过预测下一个单词来理解和生成自然语言。训练 LLM 需要大量的文本数 据，使其能够掌握复杂的语言模式并应用于不同任务。 元化，模型最后就会越通用；即使包括噪声数据，模型仍能通过扩展规律提 取出通用的知识。而 Transformer 这种架构正好完美做到了 Scaling Laws， Transformer 就是自然语言处理领域实现扩展规律的最好的网络结构。 2.2 Transformer 基础架构 LLM 依赖于 2017 年 Google 提出的 Transformer 模型，该架构相比传统的 RNN（递归神经网络）和 训练通常采用大规模无监督学习，即：1. 从互联网上收集大量文本数 据，如书籍、新闻、社交媒体等。2. 让模型学习词语之间的概率分布，理解 句子结构。3. 训练目标是最小化预测误差，使其能更好地完成语言任务。 2.3.2 监督微调（Supervised Fine-Tuning, SFT） 在预训练之后，通常需要对模型进行监督微调（SFT）：使用人工标注的数 据集，让模型在特定任务上优化表现。调整参数，使其更符合人类需求，如

与开发 框架的适配要求、人工智能计算任务调度、分布式计算等软硬件 协同任务的交互协议、执行效率和协同性能等标准。 （三）关键技术标准 关键技术标准主要包括机器学习、知识图谱、大模型、自然 语言处理、智能语音、计算机视觉、生物特征识别、人机混合增 强智能、智能体、群体智能、跨媒体智能、具身智能等标准。 1. 机器学习标准。规范机器学习的训练数据、数据预处理、 模型表达和格式、模型效果评价等，包括自监督学习、无监督学 能要求等标准。 3. 大模型标准。规范大模型训练、推理、部署等环节的技 术要求，包括大模型通用技术要求、评测指标与方法、服务能力 成熟度评估、生成内容评价等标准。 4. 自然语言处理标准。规范自然语言处理中语言信息提取、 文本处理、语义处理等方面的技术要求和评测方法，包括语法分 析、语义理解、语义表达、机器翻译、自动摘要、自动问答、语 言大模型等标准。 5. 智能语音标准。规范前端处理、语音处理、语音接口、 11 能移动终端涉及的信息无障碍、适老化等标准。 4. 数字人标准。规范数字人的外形、动作生成、语音识别 与合成、自然语言交互等技术要求，包括数字人基础能力评估、 多媒体合成渲染、基础数据采集方法、标识和识别方法等标准。 5. 智能服务标准。规范基于大模型、自然语言处理、智能 语音、计算机视觉等人工智能技术提供的服务，包括模型即服务 平台技术要求和评测方法等标准，以及面向特定场景的人工智能

和地区差异。同时作为翻译家，需将原文翻译成 具有信达雅标准的译文。"信" 即忠实于原文的内容与意图；"达" 意味着译文应通顺易懂，表达清晰；"雅" 则 追求译文的文化审美和语言的优美。目标是创作出既忠于原作精神，又符合目标语言文化和读者审美的翻译。 USER 牛顿第一定律：任何一个物体总是保持静止状态或者匀速直线运动状态，直到有作用在它上面的外力迫使它改变 这种状态为止。 如果作用在物 一个独具创意且引人注目的宣传标语，需结合该产品/活动的核心价 值和特点，同时融入新颖的表达方式或视角。请确保标语能够激发潜在客户的兴趣，并能留下深刻印象，可以考 虑采用比喻、双关或其他修辞手法来增强语言的表现力。标语应简洁明了，需要朗朗上口，易于理解和记忆，一 定要押韵，不要太过书面化。只输出宣传标语，不用解释。 USER ” “ 请生成 希腊酸奶 的宣传标语 12. 诗歌创作:让模型根据提示词，创作诗歌

人工智能发展历程（一）  从早期基于规则的专家系统，走向基于学习训练的感知型AI  从基于小参数模型的感知型AI，走向基于大参数模型的认知型AI  从擅长理解的认知型AI，发展到擅长文字生成的生成式AI  从语言生成式AI，发展到可理解和生成声音、图片、视频的多模态AI  从生成式AI，发展到推理型AI 专家系统 感知AI 认知AI 生成式AI 多模态AI 推理式AI 9政企、创业者必读 人工智能发展历程（二） Go采用监督学习， 使用人类棋谱训练 • Alpha Zero采用强化学习， 自己跟自己对弈 ChatGPT时刻 • OpenAI ChatGPT大模型， 通过预训练方式，实现涌 现，理解人类语言和知识 • 诞生预训练Scaling Law Deepseek-R1时刻 • o1采用强化学习，但训练复 杂推理能力，技术未公开 • DeepSeek-R1 探索出RL方 法，且公开技术 • AI安全：实现安全的「自动驾驶」 46政企、创业者必读 大模型的六大能力 47 基本 能力 业务 能力 创新 能力 赋能 未来产业 创意 能力 赋能企业 数转智改 数学计算 语义理解 逻辑推理 语言翻译 文本创作 自动驾驶 具身智能 1 2 4 5 知识问答 代码编程 文本生成 多轮对话 图像生成 视频生成 音频生成 A I 数字人 生物制药 新材料研究 脑机接口 基础科学