全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

单点问题。⼤模型时代，实现个性化的⼀种⽅式是微调，但我认为微调可能不是本质的⽅法，⻓期来 看可能不会存在模型的微调。为什么？当你的模型指令跟随能⼒、推理能⼒、上下⽂⼀致性能⼒越来 越强时，所有东西只需要放在内存⾥就可以。⽐如你的⼤模型内存有⼀堆
prefix
这样的东西⽤来
follow，成本可以降到⾮常低。最终，你对模型个性化的过程实际上就是你所有的交互历史，也是⼀ 个包含了你的偏好和反馈的集合，这些反馈会⽐上 ntext
这个决策是怎么做出来的？
杨植麟：我觉得最重要的还是以终为始地思考这个事。⼤模型作为新的计算机肯定也需要很⼤的内 存，因为旧的计算机的内存在过去⼏⼗年的时间⾥⾯⾄少增⻓了⼏个数量级，⽽且旧的计算机也是⼀ 开始的时候只有很少的内存。第⼆点就在于
AI
的终极价值是个性化。

海外独⻆兽：OpenAI
其实也有⼀定的
long-context
了。
杨植麟：它还没有把⽤⼾的 ⽂本处理能⼒，该 产品⽀持约20万字中⽂的上下⽂⻓度，使得整体表现⾮常惊艳。杨植麟认为，如今基于Transformer架 构的⼤模型，是“新时代的计算机”，参数数量决定计算复杂度，上下⽂⻓度决定内存⼤⼩⸺因此， 上下⽂⻓度是毫⽆疑问的关键所在。 上下⽂⻓度也正是近期AI圈中的⽐拼热点，各家都在这⼀指标上你追我赶。但这背后的核⼼问题在 于：什么才是真正有效的规模化？ 在演讲中，杨植麟表⽰

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448 3.12 安全和隐私 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 3 也存在零宽空格。 控制字符删除 从翻译中删除任何控制字符。 梵文 danda 用梵文 danda (�) 替换梵文中错误的句号。 不安全的 HTML 清理 使用“safe-html“标记开启时会清理 HTML markup。 参见: 不安全的 HTML 修复首尾空白 使首尾空白和源字符串保持一致。可使用 ignore-begin-space 和 ignore-end-space 发行版本 4.18.2 不安全的 HTML 在 3.9 版本加入. 概要 该译文使用了不安全的 HTML 标记 范围 已翻译字符串 检查的类 weblate.checks.markup.SafeHTMLCheck 检查的标识符 safe-html 启用的标记 safe-html 忽略的标记 ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448 3.12 安全和隐私 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 3 也存在零宽空格。 控制字符删除 从翻译中删除任何控制字符。 梵文 danda 用梵文 danda (�) 替换梵文中错误的句号。 不安全的 HTML 清理 使用“safe-html“标记开启时会清理 HTML markup。 参见: 不安全的 HTML 修复首尾空白 使首尾空白和源字符串保持一致。可使用 ignore-begin-space 和 ignore-end-space 发行版本 4.18.1 不安全的 HTML 在 3.9 版本加入. 概要 该译文使用了不安全的 HTML 标记 范围 已翻译字符串 检查的类 weblate.checks.markup.SafeHTMLCheck 检查的标识符 safe-html 启用的标记 safe-html 忽略的标记 ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用

Benaich 等 作 者 联 合 撰 写 的 “ State of AI Report 2023”报告，从研究进展 (Research)、行业局 势 (Industry)、政策影响 (Politics)、安全问题 (Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 是最需要的技能。  许多 AI 采用者仍处于早期阶段：26% 的人使用 AI 不到一年，而 18% 的人已经在生产中进行了应用。  16% 从事 AI 工作的受访者表示正在使用开源模型。  意外结果、安全性、公平性、偏见和隐私是采用者测试 的最大风险。 工业和信息化部赛迪研究院数据显示，目前，我国已有超 过 19 个大语言模型研发厂商。其中，15 家厂商的模型 产品已经通过备案，预计今年我国大语言模型市场规模将 叶金荣，GreatSQL 开源生态负责人 对于 MySQL 5.7 的 EOL，我想需要分几种情况区别对待。 1.已经在线稳定运行的系统，认为升级版本存在一定风险。在做好必要的安全防 范措施后，一般是无需担心 EOL 带来的安全风险，最大的问题无非是用不上新功 能。相当多互联网企业都是这么做的。从 MySQL 5.6 占比仍高达 30%也可见一 斑。 2.想要用上新特性，借机升级版本。MySQL

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448 3.12 安全和隐私 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 3 也存在零宽空格。 控制字符删除 从翻译中删除任何控制字符。 梵文 danda 用梵文 danda (�) 替换梵文中错误的句号。 不安全的 HTML 清理 使用“safe-html“标记开启时会清理 HTML markup。 参见: 不安全的 HTML 修复首尾空白 使首尾空白和源字符串保持一致。可使用 ignore-begin-space 和 ignore-end-space Manual, 发行版本 4.18 不安全的 HTML 在 3.9 版本加入. 概要 该译文使用了不安全的 HTML 标记 范围 已翻译字符串 检查的类 weblate.checks.markup.SafeHTMLCheck 检查的标识符 safe-html 启用的标记 safe-html 忽略的标记 ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用

Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.15 Weblate 4.14.2 Weblate 4.14.1 Weblate 4.14 Weblate 范围: 检查的类: 检查的标识符: 启用的标记: 忽略的标记: 不安全的 HTML 在 3.9 版本加入. 该译文使用了不安全的 HTML 标记 已翻译字符串 weblate.checks.markup.SafeHTMLCheck safe-html safe-html ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用 safe-html 标志启用此检查 （请参阅 GET /api/memory/ 返回记忆结果列表。 DELETE /api/memory/(int: memory_object_id)/ 删除记忆项目 memory_object_id – 内存对象 ID 单元 unit`是翻译的一个单件它将一个源字符串与一个相应的翻译字符串配对，还包 含一些相关的元数据。该术语源自`Translate Toolkit [http://docs.translatehouse

Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.15.1 Weblate 4.15 Weblate 4.14.2 Weblate 4.14.1 范围: 检查的类: 检查的标识符: 启用的标记: 忽略的标记: 不安全的 HTML 在 3.9 版本加入. 该译文使用了不安全的 HTML 标记 已翻译字符串 weblate.checks.markup.SafeHTMLCheck safe-html safe-html ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用 safe-html 标志启用此检查 （请参阅 GET /api/memory/ 返回记忆结果列表。 DELETE /api/memory/(int: memory_object_id)/ 删除记忆项目 memory_object_id – 内存对象 ID 单元 unit`是翻译的一个单件它将一个源字符串与一个相应的翻译字符串配对，还包 含一些相关的元数据。该术语源自`Translate Toolkit [http://docs.translatehouse

Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.15.2 Weblate 4.15.1 Weblate 4.15 Weblate 4.14.2 范围: 检查的类: 检查的标识符: 启用的标记: 忽略的标记: 不安全的 HTML 在 3.9 版本加入. 该译文使用了不安全的 HTML 标记 已翻译字符串 weblate.checks.markup.SafeHTMLCheck safe-html safe-html ignore-safe-html 译文使用了不安全的 HTML 标记。必须使用 safe-html 标志启用此检查 （请参阅 GET /api/memory/ 返回记忆结果列表。 DELETE /api/memory/(int: memory_object_id)/ 删除记忆项目 memory_object_id – 内存对象 ID 单元 unit`是翻译的一个单件它将一个源字符串与一个相应的翻译字符串配对，还包 含一些相关的元数据。该术语源自`Translate Toolkit [http://docs.translatehouse

Weblate 源代码 调试 Weblate Weblate 内部 开发附加组件 Weblate 前端 在 Weblate 中汇报问题 Weblate 测试套件与持续集成 数据架构 发布 Weblate 安全和隐私 为 Weblate 模块作贡献 关于 Weblate 许可协议 更新日志 Weblate 4.14.2 Weblate 4.14.1 Weblate 4.14 Weblate 4.13.1 检查的标识符: 启用的标记: 忽略的标记: 部件配置， 使用标记定制行为 不安全的 HTML 在 3.9 版本加入. 该译文使用了不安全的 HTML 标记 已翻译字符串 weblate.checks.markup.SafeHTMLCheck safe-html safe-html ignore-safe-html 翻译使用了不安全的 HTML 标记。必须使用 safe-html 标志启用此检查 （请参阅 GET /api/memory/ 返回记忆结果列表。 DELETE /api/memory/(int: memory_object_id)/ 删除记忆项目 memory_object_id – 内存对象 ID 单元 unit`是翻译的一个单件它将一个源字符串与一个相应的翻译字符串配对，还包 含一些相关的元数据。该术语源自`Translate Toolkit [http://docs.translatehouse