LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 2 / 32 LLM Tech Map  向量数据库  数据库向量支持 代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能 力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供

全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………………………… ……………………………………………… 7 4.1 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 体安全责任，打造全过程全要素治理链条，培育安全、可靠、公平、透明的人 工智能技术研发和应用生态，推动人工智能健康发展和规范应用，切实维护国 家主权、安全和发展利益，保障公民、法人和其他组织的合法权益，确保人工 智能技术造福于人类。 1.1 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 人工智能安全治理框架 （V1.0）-

实体提取（人名、地点、事件） 文本分类 文本分类 主题标签生成（如新闻分类） 垃圾内容检测 编程与代码相关 代码调试 • 错 误 分 析 与 修 复 建议 • 代 码 性 能 优 化 提 示 技术文档处理 • API文档生成 • 代码库解释与示 例生成 代码生成 • 根 据 需 求 生 成 代 码片段（Python、 JavaScript） • 自 动 补 全 与 注 释 生成 例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型 模糊需求（如“写个排序代码”） 多轮对话 通用模型 自然交互，无需结构化指令 “你觉得人工智能的未来会怎样？” 强制逻辑链条（如“分三点回答”） 推理模型 需明确对话目标，避免开放发散 “从技术、伦理、经济三方面分析 AI的未来” 情感化提问（如“你害怕AI吗？”） 逻辑分析 推理模型 直接抛出复杂问题 “分析‘电车难题’中的功利主义 与道德主义冲突” 添加主观引导（如“你认为哪种对？”）

实体提取（人名、地点、事件） 文本分类 文本分类 主题标签生成（如新闻分类） 垃圾内容检测 编程与代码相关 代码调试 • 错 误 分 析 与 修 复 建议 • 代 码 性 能 优 化 提 示 技术文档处理 • API文档生成 • 代码库解释与示 例生成 代码生成 • 根 据 需 求 生 成 代 码片段（Python、 JavaScript） • 自 动 补 全 与 注 释 生成 例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型 模糊需求（如“写个排序代码”） 多轮对话 通用模型 自然交互，无需结构化指令 “你觉得人工智能的未来会怎样？” 强制逻辑链条（如“分三点回答”） 推理模型 需明确对话目标，避免开放发散 “从技术、伦理、经济三方面分析 AI的未来” 情感化提问（如“你害怕AI吗？”） 逻辑分析 推理模型 直接抛出复杂问题 “分析‘电车难题’中的功利主义 与道德主义冲突” 添加主观引导（如“你认为哪种对？”）

领先的数字化转型技术与服务提供商 网易数帆是网易集团旗下 TO B 企业服务品牌，定位于领先的数字化转型 技术与服务提供商，为客户提供创新、可靠的国产软件基础平台产品及相 应技术服务，业务覆盖云原生基础软件、数据智能全链路产品、人工智能 算法应用三大领域，旗下拥有轻舟、有数、易智三大产品线，致力于帮助 客户搭建无绑定、高兼容、自主可控的创新基础平台架构，快速应对新一 代信息技术下实现数字化转型的需求。 代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各行业客户的验证。目前已服务各领域头部客户百余家，包括工商银行、 浙商银行、银监会、人保金服、深圳证券交易所、华泰证券、名创优品、 古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、一汽解放、 以“开放、开源、跨云”为技术理念，网易数帆大力推动技术研究，先后取 得“工信部云计算服务能力标准首批试点单位”、“国家企业技术中心”、“信 通院云计算标准和开源推进委员会成员”、“信通院大数据技术标准推进委 员会成员”、“信创工委会成员”等机构资质。同时，网易数帆积极推动跨厂 商的数字化技术融合发展，与AWS、阿里云、百度云、华为鲲鹏云计算、 浪潮、新华三等多家企业完成技术兼容性认证。 数帆使命：帮助所有客户成功实现数字化转型

情感分析，对数据进行深入解读，帮助市场调 研等领域理解消费者情感，优化产品和策略。 • 故事化数据呈现：借助o3mini将数据以 故事的形式呈现，增强数据的可读性和吸引力， 帮助公众理解复杂的科学和技术知识。 • 复杂数据模式识别：借助o3mini高效分 析复杂数据，帮助科学研究和工程领域发现 模式和规律，如天文学中的星系演化或地质 学中的地震数据分析。 • 多源数据融合分析：在智能交通和城市 量文献中提取核心信息，通过自然语言处理算法，实现从文献梳理到观点提取到研究评论的一键式全自动生成。 产品 概况 功能亮点 功能亮点  多版本与模块化支持：目前提供三个版本（基础版、增 强版、专业版），能够灵活应对不同用户的综述需求。 工具内包括文献观点梳理、问题提出等功能模块，确保 用户在不同科研需求下得到充分支持。  增强版绘图功能：增强版具备绘图功能，可通过可视化 图示（如文献关键词共现图）直观展示综述内容，帮助 容，帮助 用户更好理解和呈现研究成果。  无数据检索：以现有真实数据库作为支撑，通过关键词 检索，自动搜集相关文献并生成综述报告，目前只支持 英文检索。  低重复率：结合现有查重机制与AI技术，在内容生成阶 段引入重复检测与优化策略，从源头上降低重复率风险， 所生成的综述普通重复率与AIGC重复率均在5%以下。  无限双语数据导入：支持中文与英文文献的导入，并且 文献数据量没有限制，能够轻松处理中文文献的系统性

的广泛应用奠定了基础。再之后的 11 月份，OpenAI 再发力，GPTs 的到来，“用户自定义 ChatGPT”的能力，更是让世人领略了 OpenAI 作为 LLM 一哥的宏大叙事能力与强劲技术实力。 二、 New Bing（Bing AI）代表了微软在 LLM 领域的野心和 决心，它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“智能对话+联网搜索”——无缝整合了起来， 从一开始就是应用的中枢，应用本身的架构、功能、 交互层是围绕 LLM 中枢来构建的。也许 ChatGPT 是最 经典的“AI 原生”应用。此概念目前还处在萌芽期，明确 的概念、应用场景、架构、技术栈细节等尚未完成自洽。 换一种视角来看，这个概念的提出其实都没技术什么事， 有人称之为“造商业概念”，这里按下不表。 十、 镜头给到国内。相比国际上当前逢 AI 必 GenAI，国内更 多地还是在 LLM 这一层面，Robin 百川智能的百川大模型、商汤的日日新大模型、MiniMax 的 ABAB 大模型、上海人工智能实验室的书生通用大模型、腾 讯的混元大模型、蚂蚁的百灵大模型等。 另一方面，除了大模型本身，中国在 LLM 相关技术领域也 快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow

码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， ，由艾瑞咨询研究院自主研 究及绘制。 中外软件开源对比（2） 国内九成以上开发者使用开源软件，其中近半数人员参与开源，新增贡 献者占比世界靠前 中国开源产业起步晚，发展尚不成熟的现象可以从信息技术发展环境、权威性组织的建立这两个角度看出。权威性组织的建立方面， 全球开源软件标准的权威发布机构OSI于1998年成立，但国内第一个权威性开源软件推进联盟成立于2004年；再如阿帕奇软件基金 会于1 量辅助：1）开源基金会可选择性接受项目的捐赠并运营项目；2）开源技术论坛通常会提供更广阔的开发者交流平台，提升开发者 能力水平；3）开源社区评估机构可对开源社区进行评分，辅助开发者选择要参与的开源项目；4）开源产业联盟往往会对行业贡献 技术指标、开源规范等，引导行业专业化发展。 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 开源产业链 运营： 发起者为运营者 开源技术论坛\开源社区评估机构\开源产业联盟

卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗 ⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）
c. 通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is
互联⽹从业者：⾼效搜集信息，辅助竞品分析、运营策划等⽅案撰写。 • 程序员：辅助编程、问题解答、代码注释、API⽂档阅读，⽀持
Python、C++、Java
等多种编程语 ⾔，帮助你学习编程、解决技术问题。 • ⾃媒体与内容创作者：学习特定公众号、⽂件、⽹⻚链接的⻛格，辅助创作；快速搜集创作所需信 息，提供丰富的资料与灵感。 • ⾦融和咨询分析师：通过即时搜索，帮你第⼀时间掌握⾏业动态和市场信息，并提供洞察与分析。

COVID 之中。但是，从另一个角度来看，世界正在发生巨变， 我们所处的世界，正在高速朝着某个未知的方向前进。 对于中国开源而言，2021 年的关键词，应该是“助跑”。迹象已经 非常明显，工信部信息技术发展司发布了《“十四五”软件和信息技 术服务业发展规划》，就是一个典型的信号，开源领域即将起飞了。 从地面行走，到天空飞行，这是两个完全不同的阶段。而 2021 年， 则是起飞之前的助跑阶段。从地面到天空，意味着整个行为的模式 对抗的背景，很多人开始从国际政治、国家实力、国家安全的角度， 来探讨开源（这个原本是纯技术的范畴）。直到最近几起开源软件安 全事件，更是令大家议论纷纷。这样一个令人喜忧参半的现象，也 许还会继续持续下去。 生态责任 在开源还只是一个小众群体的业余爱好时，几乎做任何事情，都是 自由的。但是，在软件吞噬世界、开源吞噬软件的今天，开源技术， 2021 中国开源年度报告 3 已经成为整个世界的基础设施之一。能力越大，责任越大。应用越广， 受访者所在的企业类型 …………………………………………………………………………… 17 3.5 公司购买开源产品的决策 ………………………………………………………………………… 18 3.6 受访者所从事的技术方向 ………………………………………………………………………… 19 3.7 开发语言 …………………………………………………………………………………………… 20 3.8 Java 开发框架