全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。

代信息技术下实现数字化转型的需求。 网易数帆依托网易二十余年互联网技术积累，系列软件基础平台产品和技 术方案，成熟应用于金融、零售、制造、能源、电信、物流等多个行业领 域，在技术先进性、性能优越性、产品成熟度及安全可靠性等方面得到了 各行业客户的验证。目前已服务各领域头部客户百余家，包括工商银行、 浙商银行、银监会、人保金服、深圳证券交易所、华泰证券、名创优品、 古茗、百胜集团、温氏集团、万向集团、大华股份、宁波钢铁、一汽解放、 背靠24 年互联网技术积累 成熟可靠 年 24 140 余项技术专利 140 12 亿终端用户体验支持 亿 12 100 余家行业头部客户 + 100 产品与方案均经 网易大规模内部实践验证； 标杆项目均与行业龙头企业共建。 自主可控 产品基于开源内核， 底层实现全面跨云； 基础软件实现国产兼容，推动信创。 原厂服务 原厂服务，核心技术方案不外包； 全过程服务覆盖咨询、 规划、实施、运维各环节。 信通院云计算标准和开源推进委员会成员 信通院首批开源供应商 浙江省云计算和大数据省级企业研究院 CNCF 官方认可的 Kubernetes 服务提供商 CNCF KCSP认证 管理体系相关资质 ISO 27001 信息安全管理体系认证 ISO 2000 信息技术服务管理体系认证 ISO 9001 质量管理体系认证 CSA STAR Certification 2013 服务管理认证 CMMI (三级) 认证 大数据技术认证资质

CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 前者适合快速反馈，处理即时任务；后者通过推理解决复杂问题。了解它们的差异有助于根据任务需求选择合 适的模型，实现最佳效果。 提示语策略差异 1 2 推理模型 通用模型 • 提示语更简洁，只需明确任务目标和 需求（因其已内化推理逻辑）。 • 无需逐步指导，模型自动生成结构化 推理过程（若强行拆解步骤，反而可 求： ① 保持时间复杂度不变； ② 使用numpy优化数组操作； ③ 输出带时间测试案例的完整代码。" 创造性需求 "设计一款智能家居产品，要求： ① 解决独居老人安全问题； ② 结合传感器网络和AI预警； ③ 提供三种不同技术路线的原型草图说明。" �实战技巧： 还要不要学提示语？ 提示语（Prompt）是用户输入给AI系统的指令或信息，用于 常见陷阱与应对：新手必知的提示语设计误区 忽视伦理边界陷阱：低估AI的伦理限制 陷阱症状： ▪ 要求AI生成有争议、不道德或非法内容。 ▪ 对AI的拒绝或警告感到困惑或不满。 ▪ 尝试绕过AI的安全机制。 ▪ 忽视AI输出可能带来的伦理影响。 应对策略： ▪ 了解界限：熟悉AI系统的基本伦理准则和限制。 ▪ 合法合规：确保你的请求符合法律和道德标准。 ▪ 伦理指南：在提示语中明确包含伦理考虑和指导原则。

CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 前者适合快速反馈，处理即时任务；后者通过推理解决复杂问题。了解它们的差异有助于根据任务需求选择合 适的模型，实现最佳效果。 提示语策略差异 1 2 推理模型 通用模型 • 提示语更简洁，只需明确任务目标和 需求（因其已内化推理逻辑）。 • 无需逐步指导，模型自动生成结构化 推理过程（若强行拆解步骤，反而可 求： ① 保持时间复杂度不变； ② 使用numpy优化数组操作； ③ 输出带时间测试案例的完整代码。" 创造性需求 "设计一款智能家居产品，要求： ① 解决独居老人安全问题； ② 结合传感器网络和AI预警； ③ 提供三种不同技术路线的原型草图说明。" �实战技巧： 还要不要学提示语？ 提示语（Prompt）是用户输入给AI系统的指令或信息，用于 常见陷阱与应对：新手必知的提示语设计误区 忽视伦理边界陷阱：低估AI的伦理限制 陷阱症状： ▪ 要求AI生成有争议、不道德或非法内容。 ▪ 对AI的拒绝或警告感到困惑或不满。 ▪ 尝试绕过AI的安全机制。 ▪ 忽视AI输出可能带来的伦理影响。 应对策略： ▪ 了解界限：熟悉AI系统的基本伦理准则和限制。 ▪ 合法合规：确保你的请求符合法律和道德标准。 ▪ 伦理指南：在提示语中明确包含伦理考虑和指导原则。

Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 04 | Hugging Face 的中文模型社群中对各个领域的开源模型进行了系统整理。 展望 2024 年，中国开源模型的发展展现了技术、生态和社会价值之间的深度协同。无论是从技 术创新到社区建设，还是从行业实践到合规探索，中国开源生态体系的完善正在为全球人工智能 发展注入源源不断的动力。 在 Hugging Face，我们坚信开源是推动人工智能技术进步和生态繁荣的核心力量。开源 不仅能够打破技术壁垒 费的问题。因此，算力层可以根据大模 型底层技术的特性，产出针对性的芯片，尤其是加速运算和降低能耗。这是未来 AI 芯片领域的 最优竞争力。 那么，把 transformer“焊死”到板子上就是最佳方案吗？我知道你很急，但你先别急。大 模型底层框架还存在底层路线之争。 32 / 111 我们知道，Transformer 架构呈现了 O(n²)的理论计算复杂度，这里的 n 指的是大模型输入

开放原子开源基金会出品 2023年5月 2023 CONTENTS 目录 01 行业发展 02 前沿技术 03 开源安全 AMD正计划使用开源的OpenSIL代替AGESA 开放服务网格OSM（Open Service Mesh）项目已停止维护 KSOC推出业内首个实时Kubernetes安全态势管理平台 Nutanix推出Kubernetes数据管理平台 Nutanix Data Services for 进Istio的发展。此外，OSM向云原生计算基 金会（CNCF）申请进行项目归档，目前还未 真正执行。 KSOC推出业内首个实时 Kubernetes安全态势管理平台 近日，KSOC推出业内首个实时Kubernetes安 全态势管理平台。Kubernetes安全态势管理平 台可以通过实时上下文以及当前和历史信息准 确定位攻击活动，同时还可以根据集群的当前 状态提供可操作的补救措施。具体功能包括： • 实时态势管理，发现基于事件的错误配置； Silicon Initialization Library”（开源硅初始化库），作 为一套开源解决方案，使用标准行业语言编写， 不但可以实现AGESA的各种传统功能，还有轻量 化、简单、透明、安全、扩展灵活等优势。 全球开源态势洞察｜第十期 02 01 行业发展 Nutanix推出Kubernetes 数据管理平台Nutanix Data Services for Kubernetes

发展理念也存在一定矛盾。 中国的开源软件法制建设：国内涉及开源的法律诉讼主要包含两种，其一是软件侵权案被告 方以原告所诉软件为开源软件为由进行抗辩，其二是开源软件作者起诉被告企业未遵守开源 协议。国内开源司法实践以保护软件研发的创造性劳动为核心，对上述两类案件通常支持原 告方立场。涉及开源的法律法规建设正在进一步完善，有望为我国的开源软件产业创设更有 序的发展环境。 SMS 中国的开源软件产业发展：得益于 不能够闭源商用。 EPL：没有修改过，可以直接商用；有修改过，必须在公布源代码的条件下商用，这种 情况下与GPL的发布条件类似。 • 从定义上看，所有的开源协议本质上都是允许“商用”的，之所以在实践中存在一系列开源软件商用后的侵权问题，本质上说 是由于开源许可证的“传染性”。带有“传染性”开源许可证的软件要求企业/个人在对其进行修改发布时保留原来的开源许 可证——这就意味着必须将修改后的软件也 角色间互相配合，有效协作，达成技术交流或商业目的。开源运营和治理环 节，无论是由企业主导还是由基金会主导，在整个开源项目过程中都处于关键位置，包含软件开发和发行、市场推广、版 本迭代更新、版权管理和安全管理等内容，这些环节和商业企业的软件项目有一些相似之处，但更加注重从社区的使用者 和贡献者处得到观点和启发，并用以驱动项目未来的发展。 开源软件主体和产业链关系 源作者 软件作品 企业开源 开源基金会

来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 开源产业链 运营： 发起者为运营者 开源技术论坛\开源社区评估机构\开源产业联盟 提供参与者交流的平台，推动开源技术发展、打造最佳实践 赋能开源全产业生态的循环流转与运行规范 发起者 代码/文档贡献 参与社区互动 开发者 运营： 开 源 基 金 会 为 运营者 使用者 开源代码托管平台 代码维护：对代码进行日常维护，如 开源项目运营：支持开发者社区运营，促进项目生态建设。拓展 开源生态链，汇聚企业、个人、组织参与开源项目。 开源品牌推广：打造年度重大品牌活动，完善传播矩阵，培养开 源人才，链接各方资源促进开源繁荣 理事会 安全委员会 技术监督委员会 依据项目属性，选取若干家行业优秀企 业共同组成，对项目未来发展献计献策 白金捐赠人 黄金捐赠人 白银捐赠人 开源贡献人 17家 13家 20家 6家 截至2023年8 开源项目 40+个储备开 源项目 工业开源体系 区块链 云原生与超算 RISC-V芯片 终端操作系统 设计自动化 人工智能 开发环境及语言 中间件、数据库 工具软件 服务器操作系统 安全体系 16 中国开源基础软件 产业细分领域洞察 03 17 ©2023.11 iResearch Inc.

面对全球大模型产业之争，要打赢「三大战役」 AGI之战 应用场景之战 大模型安全之战 • 探索超越人类的超级人工 智能AGI • 不仅是科技之争，更是国 运之争 • 不发展是最大的不安全， 发挥举国体制优势，打赢 追赶之战 • 大模型带来前所未有安全 挑战 • 外挂式传统安全手段难以 应对 • 应对模型安全新挑战，打 赢未雨绸缪之战 • 大模型是能力而非产品， 结合场景才能发挥价值 DeepSeek出现之前的十大预判 之三 模型越做越专  除了少数科技巨头，大多数公司都专注于做专业大模型  MoE架构盛行，本质是多个专家模型组成一个大模型  Deepmind的Alpha系列产品是这一趋势的最佳诠释 16政企、创业者必读 DeepSeek出现之前的十大预判 之四 模型越做越小 17  大模型进入「轻量化」时代，上车上终端，蒸馏小模型  先做得更大，然后探索能做多小政企、创业者必读 算力见顶，变成少数巨头游戏 预训练大模型 推理大模型 预训练大模型难以通往AGI之路  推理模型如R1——通过逻辑链条推导答案， 分解规划，自我反思  预训练范式像是记忆和模仿，强化学习范 式更像探索实践  记住很多东西只是基础，真正有价值的是 融会贯通 R1找到了人类通往AGI的方向 DeepSeek颠覆式创新——技术创新 27 DeepSeek-R1和GPT-4o不是同一个物种政企、创业者必读

成熟，我们有机会去从零搭建⼀个组织去做这件事。 02
⼤模型时代的创新很难被规划 底层逻辑变了，做事的⽅式也要变 张鹏：是什么让你认为组织是⼀个核⼼的问题，以⾄于要利⽤这个契机去构建这样的组织？ 杨植麟：更多的还是实践。 今年之前我们也尝试过很多，⽤不同的⽅式，不同的组织。⼀种就是传统的，在企业内部去做事的⽅ 式。还有就是我也参与了⼀些独⽴研究机构（的⼯作）；甚⾄还有其它⼀些⾼效的模式。然后就发现 这⼏种不 ⾼。
36氪：好多⼤模型公司忙着在硅⾕挖⼈，⽐如从OpenAI、Google、微软。你是怎么组建起⽉之暗⾯ 的团队的？ 杨植麟：我们很多⼈还是重新招的。我们更多是找这种30岁左右，有很多⼀⼿实践经验的⼈。从去年 12⽉开始，我就去了⼀趟海外，开始为招⼈做储备了。
36氪：海外的AI⼈才愿意回来吗？
杨植麟：我们在海外有office，其实两边还是可以相结合的。
36氪：现在⽉之 是商业化，都存在创新的机会。我们的愿景是建⽴⼀个全新的组织，能与⽤⼾共情，也能⽤客观数据 来定义美和智能标准，将科技与⼈⽂融为⼀体。 36氪：OpenAI会是这种组织的理想状态吗？
杨植麟：我觉得他们提供了很多很好的实践。⽐如他们就不搞赛⻢，这是⾮常重要的例⼦。这并不是 因为他们资源或者⼈不够。他们资源挺多，但是会把资源放到⼀个统⼀的scope下⾯。⽐如，他们希望 花10%的精⼒去探索⼀些新的东西，那会有⼀个团