ormer-XL
和
XLNet
两篇重要 论⽂的第⼀作者；两位联合创始⼈周昕宇和吴育昕都有
10000+
的Google
Scholar引⽤。
b. 团队成员囊括NLP,
CV,
RL（强化学习）,
Infra⽅⾯新⽣代⼈才，主导了很多有世界影响⼒的⼯ 作，吸引了来⾃Google、Meta、Amazon等全球领先科技公司的海外⼈才加⼊：
i. ⼤模型⽅⾯。团队成员发明了RoPE相对位 本性能逼近全监督学习的⾼效对⻬⽅法。
ii. 视觉⽅⾯。团队成员发明了MoCo，引爆了基于对⽐学习的视觉预训练范式，也是过去三年 CVPR引⽤量最⾼的⼯作；发明了ShuffleNet，最⾼效的视觉⽹络结构之⼀；主导开发了 detectron2，⼀个被⼴泛使⽤的视觉开源项⽬并被集成到Meta全线VR/AR产品中。
iii. 强化学习⽅⾯。团队成员作为⼀作提出了基于关系学习的少样本⽅法，得到斯坦福⼤学、 过OpenAI
RL联创及负责⼈John
Schulman亲⾃邀请加盟。
iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强

发展的新阶段。LLM Agent 是一种基于 LLM 的智能代 理，它能够自主学习和执行任务，具有一定的“认知能力 和决策能力”。LLM Agent 的出现，标志着 LLM 从传 统的模型训练和应用模式，转向以 Agent 为中心的智能 化模式。LLM Agent 打破了传统 LLM 的被动性，使 LLM 能够主动学习和执行任务，从而提高了 LLM 的应用 范围和价值；它为 LLM 的智能化发展提供了新的方向， 快速迭代发展，诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型，其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型，速度相比传统 数值预报提速 10000 倍以上，能够提供全球气象秒级预 报。盘古大模 西。它需 要你不断完善自己的输入，甚至有时候可能要求在你自身都不 知道“可以想要一个什么东西”的情况下去输入。 这样的话其实就是你在输入与输出：整个事情我都想通了，方 案我其实也就都出来了，机器给到我的都只是一个个独立性 的、小而窄的、解决掉一点一点问题的东西。 举个例子，我说我肚子疼，它会直接告诉我肚子疼可能是因为 什么，怎样做可以缓解或者解决，但它不会一点一点进行“望 闻问切”

TypeScript连续两年成为了 Gitee年度增长最快编程语言 （2023年增长率为49.04%）， 同样持续强势的还有Rust以及 C语言家族。 此外，Dart及Arduino首次上榜， 符合2024年跨平台开发及机器 人开发的潮流。 12 / 111 本年度最常用开源许可证 MIT 33.91% Apache-2.0 27.28% MulanPSL-2.0 11.70% GPL-3.0 8.55% Insight 2024 中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 通个人用户。OpenAI 在 ChatGPT 上一个重要且成功的操作就是把大模型从学术界、工业界直接推向了普通个体，让 C 端用户切 实感受到了大模型的可能性与魅力。这一点被国内的大模型厂商广泛学习。在 B 站刷视频，国 内知名的那几个大模型厂商的广告，你一个也不会落下。 受到大家的认可与喜爱固然重要，但对于 C 端用户，有两个需要时刻牢记的问题：一是 C 端用户是没有忠诚度的，谁免费就

产模式和经济发展形态，将对加快建设制造强国、网络强国 和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 （三）关键技术标准 关键技术标准主要包括机器学习、知识图谱、大模型、自然 语言处理、智能语音、计算机视觉、生物特征识别、人机混合增 强智能、智能体、群体智能、跨媒体智能、具身智能等标准。 1. 机器学习标准。规范机器学习的训练数据、数据预处理、 模型表达和格式、模型效果评价等，包括自监督学习、无监督学 习、半监督学习、深度学习、强化学习等标准。 2. 知识图谱标准。规范知识图谱的描述、构建、运维、共 方法、服务能力 成熟度评估、生成内容评价等标准。 4. 自然语言处理标准。规范自然语言处理中语言信息提取、 文本处理、语义处理等方面的技术要求和评测方法，包括语法分 析、语义理解、语义表达、机器翻译、自动摘要、自动问答、语 言大模型等标准。 5. 智能语音标准。规范前端处理、语音处理、语音接口、 数据资源等技术要求和评测方法，包括深度合成的鉴伪方法、全 双工交互、语音大模型等标准。

LLM 技术报告 大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，从而能够执行各种语 言相关任务。以 GPT 系列为代表，LLM 以其在自然语言 处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM astructure- vector-database/） 7 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning) 大模型框架指专门设计用于构建、训练和部署大型机器 学习模型和深度学习模型的软件框架。这些框架提供了 必要的工具和库，使开发者能够更容易地处理大量的数 据、管理巨大的网络参数量，并有效地利用硬件资源。 微调（Fine Tuning）是在大模型框架基础上进行的一个 ：为了处理大型数据集和大规模参 数网络，这些框架通常设计得易于水平扩展， 支持在多个处理器或多个服务器上并行处理。 ：它们提供工具来有效地加 载、处理和迭代大型数据集，这对于训练大 型模型尤为重要。 国产深度学习框架 OneFlow 架构 （图源：https://www.oneflow.org/a/chanpin/oneflow/） 9 / 32 LLM 基础设施：大模型框架及微调 (Fine Tuning)

特邀点评专家：  吴晟，Apache 软件基⾦会 Member，Apache Local Community 联合创始⼈  ⻩东旭，PingCAP 联合创始⼈兼 CTO  ⻢艳军，百度深度学习技术平台部⾼级总监  蒋涛，CSDN 创始⼈ & 董事⻓，极客帮创投创始合伙⼈  ⾼阳，SegmentFault 思否创始⼈ & CEO  红薯，开源中国创始⼈ & CTO  庄表伟，开源社理事⻓ 在参与者眼中，GitHub 对于开源软件的贡献最⼤，其次是 Google，⽽在国内企业中， Alibaba、Huawei 和 Baidu 分别占据前三名。 4.9 机器⼈流程⾃动化 对于开源项⽬是否继承了 RPA，即机器⼈流程⾃动化⼯具，有四成参与者表示⼀部分项⽬集 成了 RPA，16% 的参与者表示⼏乎所有项⽬都有集成 RPA，同时也有 24% 的参与者表示从 来没有在开源项⽬中集成过 蒋涛：在全球科技竞争和中国开源核心技术发展态势下，从开源生态制高点着眼，建设和发展 中国开源基金会意义重大。通过中国开源基金会的发展壮大，不断鼓励国内巨头科技企业和社 会力量合力共建开源创新生态环境；同时，通过学习借鉴更完善的基金会运行模式、组织机制 和法律制度，建设可持续发展的中国开源创新力量。此外，在当前全球开源商业模式越来越成 熟的市场环境下，建设开源基金会，还可以引导国内外基金和投资机构孵化支持开源，培育中

…………………………………………………………………………… 34 4.8 一个项目的哪些特征对于您留下成为项目贡献者的重要度评级 ……………………………… 35 4.9 开源项目是否集成 RPA（机器人流程自动化） ………………………………………………… 36 4.10 开源活动 ………………………………………………………………………………………… 37 4.11 聊天运维工具 ……………… 杨丽蕴：我国开源人才后备力量足、基数大。 我国高校越来越重视开源人才的培养 , 越来越多的学生参与到开 源开发中，开源人才培养周期前置，越来越多的学校开设开源课程，希望后续可以实现在学习计算机、编译原 理、软件工程等理论知识的同时，让学生学习掌握开源开发模式、理解认同开源文化。 参与者职位分布 产品经理，9,2% CTO/CEO 公司负责人，26,5% CTO/CEO 公司负责人 产品经理 教师 开发者 39% 和 25%。 专家点评 段夕华： 科技型初创公司用开源来实现技术能力展现，吸引潜在合作伙伴，这个趋势不容忽视。这其中国内 最为抢眼的就是 PingCAP/TiDB，其开源策略、战术均值得大家学习借鉴。 堵俊平：这两年，一个很明显的趋势是越来越多的初创企业参与开源。这一方面得益于 ToB 赛道成为市场和 政策导向的热点，另一方面开源所代表的开放式创新也被投资界所认可。尤其是开源与数据（数据库

解决复杂问题 7政企、创业者必读 8 AI不仅是技术革新，更是思维方式和社会结构的变革 国家 产业 个人 企业政企、创业者必读 人工智能发展历程（一）  从早期基于规则的专家系统，走向基于学习训练的感知型AI  从基于小参数模型的感知型AI，走向基于大参数模型的认知型AI  从擅长理解的认知型AI，发展到擅长文字生成的生成式AI  从语言生成式AI，发展到可理解和生成声音、图片、视频的多模态AI 认为大模型的能力无法进一步得到质的提升 开辟强化学习新范式 从预训练Scaling Law转变为强化学习Scaling Law 大数据+大参数+大算力的 预训练Scaling Law的边际效应递减 • 人类构造的训练数据已达上限 • 万亿参数规模之后，继续增大参数规 模难以带来质的提升 • 训练算力成本和工程化难度大幅上升 强化学习Scaling Law • 利用合成数据解决数据用尽问题 利用合成数据解决数据用尽问题 • 利用self-play强化学习，在不增大参 数规模前提下，大幅提升复杂推理能力 • 通过后训练算力和推理算力，在不增加 预训练算力前提下，大幅提升模型性能 DeepSeek颠覆式创新——技术创新 26政企、创业者必读  预训练模型如GPT——疯狂读书，积 累知识，Scaling law撞墙  预训练模型思考深度不够  算力见顶，变成少数巨头游戏 预训练大模型 推理大模型

据、零售大数据、制造业智慧供应链等行业解决方案。 发布轻舟低代码平台 2.0 。 大数据开源项目 Kyuubi 全票进入 Apache 软件基金会孵化器。 有数 BI 个人版永久免费；发布机器学习平台、消费者运营平台、标签画像、流量分析等产品。 2020 2021 发布轻舟云原生软件生产力平台、有数全链路数据生产力平台。 网易云品牌升级为网易数帆，发力数字化转型基础软件。 深度参与社区 实时数据传输 运维中心 离线开发平台 实时计算平台 集群运维 任务运维 文件管理 任务开发 租户管理 自助分析 权限管理 可视化调度 数据开发及管理平台 标签画像 消费者运营平台 机器学习平台 BI 有数优势 有数全链路数据生产力平台2.0能力全景图 易用 覆盖企业数据全链路的大数 据产品，全面降低数据使用门 槛。 开放 专注大数据技术领域，核心 技术自主可控，支持多云和跨 基于 Apache Flink 构建的高性能、一站式实时大数据处理方案，广泛适用于流式数据处理场景。 有数实时计算平台 一站式、低门槛分析建模平台，帮助客户更快、更便捷、更智能地挖掘数据价值。 有数机器学习平台 19 产品能力 产品能力 全渠道数据融合 支持多渠道数据整合，可灵活 对接主流社交平台、品牌内部 系统等数据源，为消费者运营 平台奠定数据资产基础。 消费者精准洞察 基于敏捷标签应用体系及业

杨丽蕴：我国开源人才后备力量足、基数大。 我国高校越来越重视开源人才的培养,越来 越多的学生参与到开源开发中，开源人才培养周期前置，越来越多的学校开设开源课程， 希望后续可以实现在学习计算机、编译原理、软件工程等理论知识的同时，让学生学习掌 握开源开发模式、理解认同开源文化。 Yang Liyun: China's open source talent reserve is sufficient; the [Expert Comment] 段夕华： 科技型初创公司用开源来实现技术能力展现，吸引潜在合作伙伴，这个趋势不 容忽视。这其中国内最为抢眼的就是 PingCAP/TiDB，其开源策略、战术均值得大家学习 借鉴。 Duan Xihua: Technology startups use open source to show their technical capabilities and Comment] 堵俊平：在欧美，邮件列表和 Issue 是开源开发者交流的主要方式，这样既可以公开、 透明，又可以把讨论的过程沉淀下来，降低后加入者的学习成本。国内开发者当前习惯在 微信群中讨论问题，但受限于微信群的规模以及非公开的讨论问题的方式，需要聊天机器 人等辅助工具才能达成开源社区的沟通需要。 Du Junping: In Europe and the United States, mailing