全国网络安全标准化技术委员会 2024年9月 人工智能 安全治理框架1. 人工智能安全治理原则 …………………………………… 1 2. 人工智能安全治理框架构成 ……………………………… 2 3. 人工智能安全风险分类 …………………………………… 3 3.1 人工智能内生安全风险 ……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 框架。 1. 人工智能安全治理原则 秉持共同、综合 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。 人工智能安全治理框架 （V1.0）- 2 - 人工智能安全治理框架 1.2 风险导向、敏捷治理。密切跟踪人工智能研发及应用趋势，从人工 智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对 措施。关注安全风险发展变化，

快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 场面”。 1 1 目录 一、开源开发者事件回顾 三、中国开发者开源新动向 二、2023 LLM 技术报告  46 | 向量数据库  47 | 数据库向量支持  48 | 大模型框架、微调  51 | 大模型训练平台与工具  53 | 编程语言  57 | 知名大模型  58 | 备案上线的中国大模型  21 | 硬核发版  26 | 热门话题  33 105 小时之后，该事件迎来大结局—— Sam Altman 重返 OpenAI 担任首席执行官，OpenAI 成立全新董事会，微软 将在董事会中获得一个无投票权的观察员席位。 最火热 LLM 应用框架 LangChain 与此同时，零一万物完成由阿里云领投的新一轮融资，估值已超 10 亿美 元，跻身独角兽行列。 8 / 87 1 1 开源开发者事件回顾 京东发布言犀大模型 百度推出 AI

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2.1. Web MVC Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . parts or sub-systems are summarized below. 1.2.1. Web MVC Framework The lowest or most foundational part of Apache OFBiz is a classical web MVC (Model View Controller) framework. This part of the system

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2.1. Web MVC Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . parts or sub-systems are summarized below. 1.2.1. Web MVC Framework The lowest or most foundational part of Apache OFBiz is a classical web MVC (Model View Controller) framework. This part of the system

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2.1. Web MVC Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . parts or sub-systems are summarized below. 1.2.1. Web MVC Framework The lowest or most foundational part of Apache OFBiz is a classical web MVC (Model View Controller) framework. This part of the system

Main systems OFBiz at its core is a collection of systems: • A web server (Apache Tomcat) • A web MVC framework for routing and handling requests. • An entity engine to define, load and manipulate data

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2.1. Web MVC Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . parts or sub-systems are summarized below. 1.2.1. Web MVC Framework The lowest or most foundational part of Apache OFBiz is a classical web MVC (Model View Controller) framework. This part of the system

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2.1. Web MVC Framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . parts or sub-systems are summarized below. 1.2.1. Web MVC Framework The lowest or most foundational part of Apache OFBiz is a classical web MVC (Model View Controller) framework. This part of the system

Main systems OFBiz at its core is a collection of systems: • A web server (Apache Tomcat) • A web MVC framework for routing and handling requests. • An entity engine to define, load and manipulate data

www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围，是指研究“开源”中“基础软件”板块的情况。开源过程中，参与者可以共享、协作完成开发， 正好与基础软件庞大的开发量需求相契合。这种契合性 对于这四类基础软件（操作系统、数据库、AI框架、中间件），其编写者将实现功能的代码按照一定的开源规范 开放，任何人可以查看、使用、贡献，同时，使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 www.iresearch.com.cn 中国基础软件开源产业主要参与者图谱 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 中间件 操作系统 AI框架 数据库 开源技术论坛 开源产业联盟 开源组织 基础软件开源项目 开源基金会 开源社区评估机构 X-Deep Learning 开源代码托管平台 11 ©2023.11 iResearch