开源中国 2023 大模型(LLM)技术报告
处理领域的卓越表现,成为推动语言理解、生成和应用的引 擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域,GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面,LLM 技术也发挥了关键作用。此外,它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发,将深入探讨 LLM 技术的背景、 基础设施、应用现状,以及相关的工具和平台。 大模型训练平台与工具 基础设施 LLM Agent 备案上线的中国大模型 知名大模型 知名大模型应用 大模型 算力 工具和平台 LLMOps 大模型聚合平台 开发工具 AI 编程 插件、IDE、终端 代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer 架构和预训练与微调策略是 LLM 技术的核心,随着大规模语言数据集的可用性和计算能 7 / 32 LLM 基础设施:大模型框架及微调 (Fine Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库,使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量,并有效地利用硬件资源。 微调(Fine Tuning)是在大模型框架基础上进行的一个 关键步骤。在模型经过初步的大规模预训练后,微调是 用较小0 码力 | 32 页 | 13.09 MB | 1 年前3普通人学AI指南
8B 和 70B 模型。 图 2,时间线主要根据技术论文的发布日期(例如提交至 arXiv 的日期)来 确定大型语言模型(大小超过 10B)的发展历程。如果没有相应的论文,我们 将模型的日期设定为其公开发布或宣布的最早时间。我们用黄色标记那些公开 可用的模型检查点。由于空间限制,我们只包括那些公开报道评估结果的大型 语言模型。 Figure 2: 各个大型语言模型发布时间线 5 1.4 基础概念 工具,分别包括:问答,图像,视频,AI 编程,AI 提 示词和 AI 大模型,一共梳理挑选共计 38 个 AI 工具,其中很多都是开源! 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型,它基于 GPT(Generative Pre-trained Transformer)架构。这种模型通过分析大量的文本数据来学习语 言结构和信息,使其能够生成连贯的文本、回答问题、撰写文章、进行对话等。 场景中提 供辅助,包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型,它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问(Qwen)是阿里云开发的一系列预训练的大型语言模型,用于聊天、 生成内容、提取信息、总结、翻译、编码、解决数学问题等多种任务。这些模型 在多种语言数据上0 码力 | 42 页 | 8.39 MB | 7 月前3人工智能安全治理框架 1.0
………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 ……………………… 14 6 应用场景,提出通过安全软件开发、数据质量提升、安全建设运维、测评监测 加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性- 3 - 人工智能安全治理框架 的措施。 2.3 综合治理措施方面。明确技术研发机构、服务提供者、用户、政府 部门、行业协会、社会组织等各方发现、防范、应对人工智能安全风险的措施 手段,推动各方协同共治。 2.4 安全开发应用指引方面。明确模型算法研发者、服务提供者、重点 安全开发应用指引方面。明确模型算法研发者、服务提供者、重点 领域用户和社会公众用户,开发应用人工智能技术的若干安全指导规范。 3. 人工智能安全风险分类 人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期 各环节都面临安全风险,既面临自身技术缺陷、不足带来的风险,也面临不当 使用、滥用甚至恶意利用带来的安全风险。 3.1 人工智能内生安全风险 3.1.1 模型算法安全风险 (a)可解释性差的风险。以深度学习为代表的人工智能算法内部运行逻0 码力 | 20 页 | 3.79 MB | 29 天前3国家人工智能产业综合标准化体系建设指南(2024版)
产模式和经济发展形态,将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中,基础层主 要包括算力、算法和数据,框架层主要是指用于模型开发的 深度学习框架和工具,模型层主要是指大模型等技术和产 品,应用层主要是指人工智能技术在行业场景的应用。近年 来,我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展,形成庞大市场规模。伴随以大模型为代 智能软件开源基础框架,人工智能系统能效评价,人工智能与资 7 源利用、碳排放、废弃部件处置等标准。 (二)基础支撑标准 基础支撑标准主要包括基础数据服务、智能芯片、智能传感 器、计算设备、算力中心、系统软件、开发框架、软硬件协同等 标准。 1. 基础数据服务标准。规范人工智能研发、测试、应用等 过程中涉及数据服务的要求,包括数据采集、数据标注、数据治 理、数据质量等标准。 2. 智能芯片标准。规范智能芯片相关的通用技术要求,包 软件 运行时库及调试工具、人工智能软硬件平台计算性能等标准。 7. 开发框架标准。规范人工智能开发框架相关的技术要求, 包括开发框架的功能要求,与应用系统之间的接口协议、神经网 络模型表达和压缩等标准。 8. 软硬件协同标准。规范智能芯片、计算设备等硬件与系 统软件、开发框架等软件之间的适配要求,包括智能芯片与开发 框架的适配要求、人工智能计算任务调度、分布式计算等软硬件 协同任务的交互协议、执行效率和协同性能等标准。0 码力 | 13 页 | 701.84 KB | 1 年前3清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单
析法律文本,提取关键信息,自动生成合同草 案、法律意见书等,提高律师工作效率。 • 智能医疗数据分析与诊断:构建智能医疗 平台,分析病历、检查报告和基因数据,帮助 医生提供更准确的诊断与治疗方案。 • 金融风险预测与管理:开发金融风险分析 工具,收集并分析市场数据,预测风险并为金 融机构提供管理建议。 • 智能文学创作辅助:为作家提供创作灵感 和文本构思,生成符合中文文学传统的故事情 节和诗句,助力突破创作瓶颈。 • 免费课程和实验资源,促进AI教育普及。 • 智能编程教育助手:为编程学生提供实 时编程指导,自动生成代码示例,帮助解决 编程难题。 • 自动化代码审查工具:自动审查代码, 发现潜在问题并提供优化建议,提升开发效 率与代码质量。 新思路:Open AI o3mini的数据应用 推 理 响 应 速 度 快 写 作 情 感 表 达 能 力 格 式 化 输 出 能 力 数 据 分 析 效 率 高 计撰写的提示词,精准规避AI生成中的幻觉问题。 高规范格式输出:所生成的综述文档格式规范、结构清 晰,符合学术论文标准,用户几乎无需进行二次整理。 中科院PubScholar平台 “PubScholar”平台是由中国科学院开发 的公益学术平台,整合了国内外多种学术 资源。该平台提供文献检索、引用分析、 文献推荐等功能,用户可通过平台高效获 取科研资源,并生成相关的综述报告。平 台的优势在于其广泛的数据源和智能化的0 码力 | 85 页 | 8.31 MB | 7 月前3DeepSeek从入门到精通(20250204)
DeepSeek是一家专注通用人工智能(AGI)的中国科技公司,主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型,擅长处理复杂任务且可免费商用。 Deepseek可以做什么? 直接面向用户或者支持开发者,提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景, 支持联网搜索与深度思考模式,同时支持文件上传,能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成(如日程安排、菜谱) 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库,提高效率和一致性 开发提示语策略,应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素 预测可能的误解和边界情况 抽象化能力 识别通用模式,提高提示语可复用性 表达型(Expressive) 宣告型(Declarative) 主题聚焦机制(TFM):锁定核心内容 �TFM的理论基础: TFM借鉴了认知语言学中的“原型理论”和“框架语义 学”,可开发以下技巧: �TFM实施步骤: 1. 定义主题原型:列出主题的关键特征和代表性例子 2. 构建语义框架:创建与主题相关的概念图 3. 设置重点梯度:按重要性排序相关概念和子主题 4. 创建0 码力 | 104 页 | 5.37 MB | 7 月前3清华大学 DeepSeek 从入门到精通
DeepSeek是一家专注通用人工智能(AGI)的中国科技公司,主攻大模型研发与应 用。 • DeepSeek-R1是其开源的推理模型,擅长处理复杂任务且可免费商用。 Deepseek可以做什么? 直接面向用户或者支持开发者,提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景, 支持联网搜索与深度思考模式,同时支持文件上传,能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成(如日程安排、菜谱) 跨域整合能力 将专业领域知识转化为有效的提示语 利用提示语桥接不同学科和AI能力 创造跨领域的创新解决方案 系统思维 设计多步骤、多维度的提示语体系 构建提示语模板库,提高效率和一致性 开发提示语策略,应对复杂场景 表1-3-2提示语设计进阶技能子项 核心技能 子项 语境理解 深入分析任务背景和隐含需求 考虑文化、伦理和法律因素 预测可能的误解和边界情况 抽象化能力 识别通用模式,提高提示语可复用性 表达型(Expressive) 宣告型(Declarative) 主题聚焦机制(TFM):锁定核心内容 �TFM的理论基础: TFM借鉴了认知语言学中的“原型理论”和“框架语义 学”,可开发以下技巧: �TFM实施步骤: 1. 定义主题原型:列出主题的关键特征和代表性例子 2. 构建语义框架:创建与主题相关的概念图 3. 设置重点梯度:按重要性排序相关概念和子主题 4. 创建0 码力 | 103 页 | 5.40 MB | 8 月前3清华大学第二弹:DeepSeek赋能职场
如何使用DeepSeek批量生成新媒体文案? 如何使用DeepSeek批量生成新媒体文案? 如何使用DeepSeek批量生成新媒体文案? 如何使用DeepSeek开发AI应用? 如何使用DeepSeek开发AI应用? 如何使用DeepSeek开发AI应用? 如何使用DeepSeek进行市场调查? 如何使用DeepSeek进行市场调查? 经济发展 创新活力 社会治理 基础设施 宜居环境 如何使用DeepSeek进行市场调查?0 码力 | 35 页 | 9.78 MB | 7 月前3【周鸿祎清华演讲】DeepSeek给我们带来的创业机会-360周鸿祎-202502
慢思考能力 传统软件是辅助人的工具,Agent是能够自主工作的数字员工,是新的生产力政企、创业者必读 22 DeepSeek出现之前的十大预判 之九 开源效果追赶上闭源 技术开放,吸引广大开发人员和用户使用 很多公司参与开源,帮助改进产品,众人拾柴火焰高, 反哺开源产品,形成正循环政企、创业者必读 DeepSeek出现之前的十大预判 之十 中美差距快速缩小 美国预训练堆算 DeepSeek颠覆式创新——用户体验 32 ——掀起新一轮AI科普教育 认知决定行动,这场全民AI科普对推动中国AI发展功不可没政企、创业者必读 开源改变行业格局,建立强大生态 开源战胜闭源,促使全球公司、开发者等转到开源 建立强大生态,成为全球人工智能根技术,无推广情况下各国 政府、企业、云厂商纷纷接入,获得全球最大影响力 改变中美竞争格局:美国是闭源封闭垄断思路,中国领导开源 文化,加速中国领先地位 因为开源透明可信任,企业和 政府可做大量私有化部署 一个开源产品获得突破之后,全世界都能分享成果,结束中国百模大 战,节省大量成本 很多公司参与开源,帮助改进产品,很多人基于DS生态开发应用产 品,增加影响力,人人为我,我为人人 技术开放,对人工智能行业形成蓬勃发展,寒武纪大爆炸,推动AGI 行业发展 DeepSeek颠覆式创新——开源 34政企、创业者必读 成本的急剧降低0 码力 | 76 页 | 5.02 MB | 5 月前3Deepseek R1 本地部署完全手册
3090 海光 DCU 适配V3/R1模型,性能对标NVIDIA A100 等效A100(BF16) 2. 国产硬件推荐配置 模型参数 推荐⽅案 适⽤场景 1.5B 太初T100加速卡 个⼈开发者原型验证 14B 昆仑芯K200集群 企业级复杂任务推理 32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理 四、云端部署替代⽅案 1. 国内云服务商推荐 平台 核⼼优势 适⽤场景0 码力 | 7 页 | 932.77 KB | 7 月前3
共 19 条
- 1
- 2