全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 人工智能安全治理框架 （V1.0）- 2 - 人工智能安全治理框架 1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工 智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对 措施。关注安全风险发展变化，

中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 开发基础设施，本部分图表 中的开发框架、向量数据库、 开发平台、大模型均表现出 色，代表着它们的代码提交 频率、参与者、代码合并比 率等协作开发工作保持着较 高的水平。 17 / 111 OSS Compass Insight 本部分图表仅用于数据展示，不涉及先后排名 稳健性-活跃度 作为 AI 开发生态中的关键组 成部分，本部分图表中的开发 框架、大模型及相关工具在活 跃度的表现各有千秋。 2.0（专家建议稿）》对于免费且已开源方式提供人工智能研发的个人和 组织给予减轻或免承担法律责任；《生成式人工智能服务管理暂行办法》 则明确了人工智能技 术的使用和合规要求，促进了开源模型在合规框架下良性发展。 变革 端上模型的兴起与隐私保护 随着小型模型的性能逐步增强，更多高级 AI 正转向在个人设备上运行。这一趋势不仅显著 降低了云端推理成本，还提升了用户隐私控制。 中国 AI 社区在这一领域也做了重要贡献，推出了如

实体经济深度融合，全面赋能新型工业化，深刻改变工业生 产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 （一）人工智能标准体系结构 人工智能标准体系结构包括基础共性、基础支撑、关键 技术、智能产品与服务、赋能新型工业化、行业应用、安全 /治理等 7 个部分，如图 1 所示。其中，基础共性标准是人 工智能的基础性、框架性、总体性标准。基础支撑标准主要 规范数据、算力、算法等技术要求，为人工智能产业发展夯 实技术底座。关键技术标准主要规范人工智能文本、语音、 图像，以及人机混合增强智能、智能体、跨媒体智能、具身 1 人工智能标准体系结构图 （二）人工智能标准体系框架 人工智能标准体系框架主要由基础共性、基础支撑、关 键技术、智能产品与服务、赋能新型工业化、行业应用、安 全/治理等 7 个部分组成，如图 2 所示。 5 图 2 人工智能标准体系框架图 6 四、重点方向 （一）基础共性标准 基础共性标准主要包括人工智能术语、参考架构、测试评估、 管理、可持续等标准。 1. 术语标准。规范人工智能相关技术、应用的概念定义，

国家级博士后科研工作站 云计算技术认证资质 信通院可信云服务网格先进级（最高级别）评估 信通院数字化可信服务能力认证（轻舟低代码平台） 可信云微服务评估先进级认证 Kubernetes 一致性认证 华为鲲鹏计算兼容性测试认证 大数据技术机构资质 信通院大数据技术标准推进委员会成员 大数据系统软件浙江省工程实验室 浙江省网易大数据重点企业研究院 浙江省云计算和大数据省级企业研究院 人工智能技术机构资质 浙江省增强现实与智能交互工程技术研究中心 CSA STAR Certification 2013 服务管理认证 CMMI (三级) 认证 大数据技术认证资质 信通院第十二批“大数据产品能力评测”（有数BI） 工信部一所信创适配测试认证 华为鲲鹏技术兼容性测试认证 QUALIFICATION 数帆资质（部分） 06 及以前 《Gartner 2020 中国 ICT 技术成熟度曲线》数据中台领域标杆厂商 信通院“大数据'星河'案例-行业大数据应用优秀案例” 监控分析 应用 Spring Clould Dubbo Service Mesh 分布式事务 GTXS TCC 事务消息 事务轨迹 认证鉴权 发布管理 流量控制 协议转换 微服务框架 NSF 注册发现 服务治理 服务路由 流量染色 服务化 将企业能力转化为数字化的 服务，打破企业软件应用中数 据孤岛等现状。 敏捷 通过小步快跑的方式敏捷迭 代，不断适应市场与业务需求 的变化，摆脱缓慢的大版本更

快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 刊发表，获得国际学术界的认可。 年底，零一万物推出的 Yi 模型，200K 上下文窗口，可处 理约 40 万字的文本，成为当时全球大模型中最长的上下文 窗口。其中 Yi-34B 在 Hugging Face 英文测试榜单中位 列第一，在 C-Eval 中文能力排行榜中超越所有开源模型。 十一、 这一小节，通过一些数据来简要概述 2023 年的 LLM、 GenAI。根据金融数据和软件公司 PitchBook 采用者仍处于早期阶段：26% 的人使用 AI 不到一年，而 18% 的人已经在生产中进行了应用。  16% 从事 AI 工作的受访者表示正在使用开源模型。  意外结果、安全性、公平性、偏见和隐私是采用者测试 的最大风险。 工业和信息化部赛迪研究院数据显示，目前，我国已有超 过 19 个大语言模型研发厂商。其中，15 家厂商的模型 产品已经通过备案，预计今年我国大语言模型市场规模将 达到 132

Google、MIT、Amazon等团队的使⽤和扩展，并获得过OpenAI
RL联创及负责⼈John
Schulman亲⾃邀请加盟。
iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
产品是通过了解⽤⼾的需求设计功能，新时代需要在制造的过程中完成设计。ChatGPT
就是通过制造 完成设计，并没有先设计出来⼀堆场景再找对应的算法。Kimi
的⽤⼾⾃⼰去上传简历然后做筛选，也 是我们上线之前完全没有测试过的⽤例。 资源获取肯定也很重要。其中主要烧钱的是算⼒。早期靠融资，到后⾯就需要更多的产品商业化。商 业化也不能照搬上⼀个时代成熟的东西创新，所以好的
CEO
和团队应该有⼀定经验，但同时也有很强 这是⼀个⾮常经典的关于⻓⽂本能⼒的测试：⼤海捞针。 什么意思呢？我会给模型⾮常多的⽂档，我会在随机在⽂档⾥⾯去插⼊⼀句话。⽐如说北京最好的事 情是什么，北京最吸引⼈的点是什么？你在⽂档⾥⾯去插⼊这句话，然后他你这样你就可以得到⼀个 实验，就是说你在不同的⻓度，在你不同的插⼊位置的情况，他的回答的准确率到底是什么样。 左边是GPT4的结果，这是在Twitter上⾮常⽕的⼀个测试。简单的说，就是你这个图⾥⾯红点越少越

开放式指令（如“自由创作”） 代码生成 推理模型 简洁需求，信任模型逻辑 “用Python实现快速排序” 分步指导（如“先写递归函数”） 通用模型 细化步骤，明确输入输出格式 “先解释快速排序原理，再写出代 码并测试示例” 模糊需求（如“写个排序代码”） 多轮对话 通用模型 自然交互，无需结构化指令 “你觉得人工智能的未来会怎样？” 强制逻辑链条（如“分三点回答”） 推理模型 需明确对话目标，避免开放发散 + 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 选择依据。" �实战技巧： 执行需求 �实战技巧： "将以下C语言代码转换为Python，要求： ① 保持时间复杂度不变； ② 使用numpy优化数组操作； ③ 输出带时间测试案例的完整代码。" 创造性需求 "设计一款智能家居产品，要求： ① 解决独居老人安全问题； ② 结合传感器网络和AI预警； ③ 提供三种不同技术路线的原型草图说明。"

开放式指令（如“自由创作”） 代码生成 推理模型 简洁需求，信任模型逻辑 “用Python实现快速排序” 分步指导（如“先写递归函数”） 通用模型 细化步骤，明确输入输出格式 “先解释快速排序原理，再写出代 码并测试示例” 模糊需求（如“写个排序代码”） 多轮对话 通用模型 自然交互，无需结构化指令 “你觉得人工智能的未来会怎样？” 强制逻辑链条（如“分三点回答”） 推理模型 需明确对话目标，避免开放发散 + 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向 结合逻辑框架生成结构化 创意 自由发散，依赖示例引导 4. 验证需求 需检查逻辑自洽性、数 据可靠性或方案可行性 结论/方案 + 验证方法 + 风险点 自主设计验证路径并排查 矛盾 简单确认，缺乏深度推演 选择依据。" �实战技巧： 执行需求 �实战技巧： "将以下C语言代码转换为Python，要求： ① 保持时间复杂度不变； ② 使用numpy优化数组操作； ③ 输出带时间测试案例的完整代码。" 创造性需求 "设计一款智能家居产品，要求： ① 解决独居老人安全问题； ② 结合传感器网络和AI预警； ③ 提供三种不同技术路线的原型草图说明。"

www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围，是指研究“开源”中“基础软件”板块的情况。开源过程中，参与者可以共享、协作完成开发， 正好与基础软件庞大的开发量需求相契合。这种契合性 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 www.iresearch.com.cn 中国基础软件开源产业主要参与者图谱 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 中间件 操作系统 AI框架 数据库 开源技术论坛 开源产业联盟 开源组织 基础软件开源项目 开源基金会 开源社区评估机构 X-Deep Learning 开源代码托管平台 11 ©2023.11 iResearch

Weblate 作贡献 开始为 Weblate 贡献代码 Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.16.4 Weblate 4.16.3 Weblate 支持的文件格式 Weblate 支持 translate-toolkit [https://toolkit.translatehouse.org/] 理解的大多数翻译格 式，但是每种格式都略有不同，一些未经充分测试的格式可能会出现问题。 参见 与翻译相关的文件格式 [http://docs.translatehouse.org/projects/translate- toolkit/en/latest/formats/index 版格式，因其在复数形式处理方 面对齐 CLDR。旧版格式对某些语言有不同的复数规则，这些规则是错误 的。 i18next [https://www.i18next.com/] 是一个用 JavaScript 编写的国际化框架。 Weblate 支持其具有复数等功能的本地化文件。 i18next 翻译是单语的，因此建议使用英语字符串（最常见的是英语字符串） 指定基本文件。 备注 Weblate 支持 i18next