型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 估体系，希望通过这些数据洞察中国开源开发者在 系列凭借灵活的多尺寸选项，强大的多语言支持以及友好的模型授权功能， 赢得了社区开发者的高度评价。DeepSeek 通过引入多头潜在注意力（Multi-head Latent Attention, MLA）技术，在性能和成本上实现了革命性突破，开创高性价比的 AI 新纪元。 智谱的 CogVideoX 系列文生视频模型，成为全球首批开源的文生视频模型之一，不仅在 技术方面让中国视频生成模型列入领先梯队，强化了中国模型在全球范围的竞争力，也为国际开 端上模型的兴起与隐私保护 随着小型模型的性能逐步增强，更多高级 AI 正转向在个人设备上运行。这一趋势不仅显著 降低了云端推理成本，还提升了用户隐私控制。 中国 AI 社区在这一领域也做了重要贡献，推出了如 Qwen2-1.5B、MiniCPM 系列和 DeepSeek Janus 等多款移动友好型模型。其中，最新发布的 GLM Edge 1.5B 模型通过与 高通 GenAI 扩展的联合优化，在搭载骁龙 8 Gen

模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 和移动端。  多任务支持：支持多种任务， 如文本生成、分类和问答。 Kimi k1.5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。  定制化能力：支持用户自定义 训练和微调，适应特定需求。 Open AI o3 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 数据呈现的“画龙点睛” Open AI o3mini 直接调用 DALLE 生成图表，Kimi k1.5 提 供 Python 代码支持，Claude 3.5 Sonnet 负责图表逻辑优化 数据采集 数据预处理 数据分析 可视化呈现 新思路：DeepSeek R1的数据应用 中 文 数 据 处 理 优 势 创 意 写 作 生 成 能 力 数 据 读 取 分 析 能 力 低

ChatGPT 类似，Claude 能够执行各种基于文字对话的任务，如文档搜索、 摘要、写作、编码，以及响应用户的提问。 四个月后，Anthropic 推出 Claude 2。Claude 2 改进了性能，响应时间更长， 可通过 API 访问。此外还上线了面向公众的 beta 网站 claude.ai。 2023 年 3 月 14 日，OpenAI 正式推出 GPT-4。 GPT-4 是多模态大型语言模型(Large 发布不久后，一款让这个最强大语言模型能够自主完成任务的开源项 目——Auto-GPT 横空出世，在 AI 领域掀起巨大的波澜。它就像是赋予了 GPT-4 记忆和实体一样，让它能够独立应对任务，甚至从经验中学习，不断 提高自己的性能。 Auto-GPT 是首批将 GPT-4 应用于自动执行任务的程序之一。 2023 年 11 月 17 日，OpenAI 突然发布公告，宣布 Sam Altman 将辞去首席 执行官一职，并离开 2023 年 9 月，蚂蚁集团正式开 源代码大模型 CodeFuse——基 于蚂蚁基础大模型研发。 这是蚂蚁自研的代码生成专属 大模型，帮助开发者自动生成代 码、自动增加注释、自动生成测 试用例、修复和优化代码等。 2023 年 8 月，阿联酋研究团队宣布开源阿拉伯语大模型 Jais。Jais 是一个 经过 130 亿个参数预训练的阿拉伯语和英语双语大型语言模型，在包含 720 亿个阿拉伯语词块和 2790

的关键组件；发明了
Transformer-XL，是历史上第⼀个在词级别和字级别都全⾯超越RNN 的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾 与DeepMind和CMU合作研究，⾸次实现⼩样本性能逼近全监督学习的⾼效对⻬⽅法。
ii. 视觉⽅⾯。团队成员发明了MoCo，引爆了基于对⽐学习的视觉预训练范式，也是过去三年 CVPR引⽤量最⾼的⼯作；发明了ShuffleNet，最⾼效的视觉⽹络结构之⼀；主导开发了 Schulman亲⾃邀请加盟。
iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。20
海外独⻆兽：context
length
的提升存在什么规律？有技术可预⻅性吗？
杨植麟：我⾃⼰感觉存在
context
length
的摩尔定律。但需要强调：给定⻓度下的准确率也⾮常重 要，需要同时优化⻓度和准确率（⽆损压缩）两个指标。 在保证模型能⼒和智商的情况下，我觉得⼤概率
context
length
的提升是指数级增⻓的。
多模态：⼤部分架构不值得被

scale
up

海外

iresearch.com.cn 开源产业链关系 以开源社区及代码托管平台为中心，各方合力促进产业源与端共生共长 发起者可以将源代码放在代码托管平台上，结合开发者的代码贡献进一步提升源代码质量。在这个代码优化的过程中，也有其他力 量辅助：1）开源基金会可选择性接受项目的捐赠并运营项目；2）开源技术论坛通常会提供更广阔的开发者交流平台，提升开发者 能力水平；3）开源社区评估机构可对开源社区进行评分，辅助开 主研究及绘制。 法务服务 社区 治理 社区 运营 代码 审核 开源 开发 生态 合作 法务 合规 开源企业发起者内的多组织协作 开源开发 战略合作 社区运营 代码审核 软件优化 选择适合开源项目的开源协 议，依据企业对项目的开源 方案审定协议中个别条款 向上对接高校及研究机构， 加紧基础技术共建；向下对 应发行版ISV厂商，将软件向 更多行业及场景渗透 规划开源软件迭代方向，包 4.4% 其他 0.9% 开源社区中，使用者比例最高，使用开源软件、发掘开源代码是大多 数开发者加入开源项目的起点，随着与社区的绑定不断加深，使用者 逐渐向贡献者转化，围绕项目提出自身的建议或优化方向。 14 ©2023.11 iResearch Inc.

以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 以提高对语言复杂性的理解。 GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供了前所未有的性能，以此为基础，多模态融合的应用使得 LLM 更全面地处理各种 信息，支持更广泛的应用领域。 图源：https://postgresml.org/docs/.gitbook/assets/ml_system 02 04 向量数据库/数据库向量支持 为大模型提供高效的存储和检索能力 大模型框架及微调 (Fine Tuning) 大模型框架提供基本能力和普适性，而微调 则是实现特定应用和优化性能的关键环节 大模型训练平台&工具 提供了在不同硬件和环境中训练大语言模型 所需的基础设施和支持 编程语言 以 Python 为代表 5 / 32 LLM 基础设施：向量数据库/数据库向量支持

也有⼀些好处： 你可以密切追随 Krita 的开发进度。如果你定期从开发代码仓 库获取最新代码编译 Krita，你将可以试⽤许多正在开发的新 功能。 你可以在构建时为你的处理器进⾏优化。预构建的软件包往往 只能针对最低通⽤特性进⾏优化。 你可以⻢上获得全部程序问题修复。 你可以向我们的程序员提供反馈新功能的问题，帮助我们进⾏ 软件测试。这对 Krita 的开发来说⾄关重要，以⾄于我们会在 关于对话框⾥列出经常协助测试的⼈员名单。 “引擎”是我们⽤来描述⼀套具有复杂功能的程序代码的⾏话。 Krita 的笔刷引擎和汽⻋的引擎⼀样具有许多可供调整的环节，每 个环节都会影响到其他环节的⼯作表现。正如汽⻋引擎中每个零件 的调教会影响到汽⻋的性能，笔刷引擎的各个选项的调整也会使绘 制的笔画呈现出不同的效果。 Krita 内建了 种类繁多的笔刷引擎，它们的⼯作原理各不相同，效 果各具特⾊，每⼀种引擎都有其独特的⽤途。 左图： 像素笔刷引擎； Inch，每英⼨像素的缩写。DPI 与打印的精细程度有关，⽽ PPI 则 与打印尺⼨有关。在印刷⾏业⾥⾯，如果⼀台打印机按 300 DPI 进 ⾏打印，它在每平⽅英⼨的⾯积⾥⾯可以打印 300 个墨点。为了发 挥出这台打印机的真正性能，打印的图像⾄少要在每平⽅英⼨的⾯ 积⾥提供 300 个像素的信息。 DPI 是打印机的特性决定的，它并不直接影响图像的打印尺⼨⼤ ⼩。真正对打印⼤⼩起决定作⽤的是 PPI ，它直接描述了像素和打

你可以及时跟踪 Krita 的最新开发进度。如果你定期从开发代 码仓库获取最新代码编译 Krita，你将可以试用许多正在开发 的新功能。 你可以在构建时为你的处理器进行优化。预构建的软件包往往 只能针对最低标准的 CPU 进行优化。 你可以立即获得全部已完成的程序缺陷修复。 你可以向我们的程序员提供反馈新功能中的问题，帮助我们进 行软件测试。这对 Krita 的开发来说至关重要，以至于我们会 在关于对话框里列出经常协助测试的人员名单。 “引擎”是我们用来描述一套具有复杂功能的程序代码的行话。Krita 的笔刷引擎和汽车的引擎一样具有许多可供调整的环节，每个环节 都会影响到其他环节的工作表现。正如汽车引擎中每个零件的调教 会影响到汽车的性能，笔刷引擎的各个选项的调整也会使绘制的笔 画呈现出不同的效果。 Krita 内建了 种类繁多的笔刷引擎，它们的工作原理各不相同，效 果各具特色，每一种引擎都有其独特的用途。 左图： 像素笔刷引擎； 的要原始一些。 变形时的混合模式 使用 Krita 对一个图层或者选区进行变形时，变形会发生在图层组的顶部，图层的混合模式会 被忽略。 提示 从 Krita 5.0 起，在配置 Krita 对话框勾选性能选项卡的 变形工具-预览时渲染图层混合模式效 果 选项，即可在变形工具的预览中显示带有图层混合模式的效果。 Photomerge (全景图像) Photomerge 是 Photoshop 中将多次扫描

你可以及时跟踪 Krita 的最新开发进度。如果你定期从开发代码仓库获取 最新代码编译 Krita，你将可以试用许多正在开发的新功能。 你可以在构建时为你的处理器进行优化。预构建的软件包往往只能针对最 低标准的 CPU 进行优化。 你可以立即获得全部已完成的程序缺陷修复。 你可以向我们的程序员提供反馈新功能中的问题，帮助我们进行软件测 试。这对 Krita 的开发来说至关重要，以至于我们会在关于对话框里列出 “引擎”是我们用来描述一套具有复杂功能的程序代码的行话。Krita 的笔刷引 擎和汽车的引擎一样具有许多可供调整的环节，每个环节都会影响到其他环节 的工作表现。正如汽车引擎中每个零件的调教会影响到汽车的性能，笔刷引擎 的各个选项的调整也会使绘制的笔画呈现出不同的效果。 Krita 内建了 种类繁多的笔刷引擎，它们的工作原理各不相同，效果各具特 色，每一种引擎都有其独特的用途。 左图： 像素笔刷引擎； 的要原始一些。 变形时的混合模式 使用 Krita 对一个图层或者选区进行变形时，变形会发生在图层组的顶部，图层的混合模式会被 忽略。 提示 从 Krita 5.0 起，在配置 Krita 对话框勾选性能选项卡的 变形工具-预览时渲染图层混合模式效 果 选项，即可在变形工具的预览中显示带有图层混合模式的效果。 Photomerge (全景图像) Photomerge 是 Photoshop 中将多次扫描

你可以及时跟踪 Krita 的最新开发进度。如果你定期从开发代码仓库获取 最新代码编译 Krita，你将可以试用许多正在开发的新功能。 你可以在构建时为你的处理器进行优化。预构建的软件包往往只能针对最 低标准的 CPU 进行优化。 你可以立即获得全部已完成的程序缺陷修复。 你可以向我们的程序员提供反馈新功能中的问题，帮助我们进行软件测 试。这对 Krita 的开发来说至关重要，以至于我们会在关于对话框里列出 “引擎”是我们用来描述一套具有复杂功能的程序代码的行话。Krita 的笔刷引擎和汽 车的引擎一样具有许多可供调整的环节，每个环节都会影响到其他环节的工作表 现。正如汽车引擎中每个零件的调教会影响到汽车的性能，笔刷引擎的各个选项的 调整也会使绘制的笔画呈现出不同的效果。 Krita 内建了 种类繁多的笔刷引擎，它们的工作原理各不相同，效果各具特色，每 一种引擎都有其独特的用途。 左图： 像素笔刷引擎； 的要原始一些。 变形时的混合模式 使用 Krita 对一个图层或者选区进行变形时，变形会发生在图层组的顶部，图层的混合模式会被 忽略。 提示 从 Krita 5.0 起，在配置 Krita 对话框勾选性能标签页的 变形工具-预览时渲染图层混合模式效果 选项，即可在变形工具的预览中显示带有图层混合模式的效果。 Photomerge (全景图像) Photomerge 是 Photoshop 中将多次扫描