2023年中国基础软件开源产业研究白皮书
www.iresearch.com.cn 基础软件开源界限划分 操作系统、数据库、中间件、AI框架底层代码按规范进行共享与协作 本篇报告研究的基础软件开源范围,是指研究“开源”中“基础软件”板块的情况。开源过程中,参与者可以共享、协作完成开发, 正好与基础软件庞大的开发量需求相契合。这种契合性 对于这四类基础软件(操作系统、数据库、AI框架、中间件),其编写者将实现功能的代码按照一定的开源规范 开放,任何人可以查看、使用、贡献,同时,使用者也要遵循一定的开源规范。 基础软件开源范畴界定 国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件,拥有技术 门槛高、衍生场景复 杂等特点 中间件:不同系统和应用程序之间交互 与协作的桥梁 AI框架:具备构建和部署人工智能模型 www.iresearch.com.cn 中国基础软件开源产业主要参与者图谱 来源:根据专家访谈、公开资料,由艾瑞咨询研究院自主研究及绘制。 中间件 操作系统 AI框架 数据库 开源技术论坛 开源产业联盟 开源组织 基础软件开源项目 开源基金会 开源社区评估机构 X-Deep Learning 开源代码托管平台 11 ©2023.11 iResearch0 码力 | 43 页 | 4.69 MB | 1 年前32020 中国开源年度报告
⼀⽅⾯,是开源这么多年⼀直持续的上升势头。⽽另⼀⽅⾯,则是我们的⼀个猜测:疫情以 来,越来越多的⼈开始远程办公,事实上促进了更多的⼈有机会“斜杠化”,也就是在⼀台电脑 ⾯前⽅便地切换多种身份,以异步的⽅式处理多种事务,从⽽增加了开发者参与开源的时间和 机会。 当然,同样由于远程办公,虚拟世界在⼈类⽣活中的占⽐,变得更⼤了。这样是否更好,还会 引发哪些问题?作为站在隧道⼝的⼈类,其实是猜不透的。 年的约 1,19 万 增加了约 21.2%。 1.2 指标解释 2、主要内容与发现 2.1 世界开源 Top10 项⽬ 活跃度最⾼的项⽬是来⾃⾕歌的前端跨平台开发框架 flutter/flutter,此外,源于⾕歌的深度 学习框架 tensorflow/tensorflow,容器编排系统 kubernetes/kubernetes 也分别位于第 5 名和第 6 名,这说明了⾕歌在开源上的努⼒和影响⼒获得了业内的认可。 从这个列表中,我们发现,阿⾥在开源领域中的成绩显著。Top10 项⽬中上榜的项⽬有 4 个,除了蚂蚁⾦服采⽤ React 封装的⼀套组件库 ant-design/ant-design,基于 Ant Design 框架搭建的中后台管理控制台的脚⼿架 ant-design/ant-design-pro 和致⼒于配置和管理微 服务的特性集 alibaba/nacos 外,饿了么(已被阿⾥收购)的开源项⽬ ElmFE/element0 码力 | 46 页 | 4.09 MB | 1 年前3网易数帆 领先的数字化转型技术与服务提供商 2021
监控分析 应用 Spring Clould Dubbo Service Mesh 分布式事务 GTXS TCC 事务消息 事务轨迹 认证鉴权 发布管理 流量控制 协议转换 微服务框架 NSF 注册发现 服务治理 服务路由 流量染色 服务化 将企业能力转化为数字化的 服务,打破企业软件应用中数 据孤岛等现状。 敏捷 通过小步快跑的方式敏捷迭 代,不断适应市场与业务需求 的变化,摆脱缓慢的大版本更 的流量管控能力。 架构平滑演进 支持单体架构向微服务架构、微服务架 构向服务网格架构平滑演进。 开放兼容 全面覆盖主流微服务开发技术选型,增 强、扩展开源服务网格。 异构应用统一治理 多框架、多协议、多语言服务的统一治 理,避免技术栈重复建设。 异构集成 支持异构协议转换为 HTTP 协议 RESTFUL 接口,具备请求转换能力,有 效集成企业存量应用。 产品能力 云原生微服务 数据+AI 依托于数据中台体系,深度融合数据安 全、管控、治理、分析能力,增强 AI 智能 决策分析。 开放、标准化 适配多源异构数据源,兼容 Spark、 TensorFlow 等主流计算框架,支持自 定义镜像、支持模型及服务标准化。 便捷易用 模型开发、训练、调度可视化管控,内置 100+算子,支持模型一键式部署,降低 AI建模门槛。 AutoML 支持端到端 AutoML,自动化完成特征0 码力 | 43 页 | 884.64 KB | 1 年前32023 中国开源开发者报告
快速迭代发展,诸如 Dify.AI 的 LLMOps、Milvus 的向量 数据库、CodeGeeX 与 Comate 的 AI 编程、对 LLM Prompt 的研究、OneFlow 的深度学习框架。 值得一提的还有华为的盘古大模型,其中盘古气象大模型是 首个精度超过传统数值预报方法的 AI 模型,速度相比传统 数值预报提速 10000 倍以上,能够提供全球气象秒级预 报。盘古大模型的研究成果在国际顶级学术期刊《自然》正 场面”。 1 1 目录 一、开源开发者事件回顾 三、中国开发者开源新动向 二、2023 LLM 技术报告 46 | 向量数据库 47 | 数据库向量支持 48 | 大模型框架、微调 51 | 大模型训练平台与工具 53 | 编程语言 57 | 知名大模型 58 | 备案上线的中国大模型 21 | 硬核发版 26 | 热门话题 33 105 小时之后,该事件迎来大结局—— Sam Altman 重返 OpenAI 担任首席执行官,OpenAI 成立全新董事会,微软 将在董事会中获得一个无投票权的观察员席位。 最火热 LLM 应用框架 LangChain 与此同时,零一万物完成由阿里云领投的新一轮融资,估值已超 10 亿美 元,跻身独角兽行列。 8 / 87 1 1 开源开发者事件回顾 京东发布言犀大模型 百度推出 AI0 码力 | 87 页 | 31.99 MB | 1 年前32021 中国开源年度报告
……………… 20 3.8 Java 开发框架 ……………………………………………………………………………………… 21 3.9 PHP 开发框架 ……………………………………………………………………………………… 21 3.10 Ruby 开发框架 …………………………………………………………………………………… 22 3.11 Go 开发框架 ……………………………………………………………………………………… ……………………………… 22 3.12 Node.js 开发框架 ………………………………………………………………………………… 23 3.13 Python 开发框架 ………………………………………………………………………………… 23 3.14 前端开发框架 …………………………………………………………………………………… 24 3.15 数据库……………………………………………………………………………………………… …………………………………………… 25 3.16 版本控制工具 …………………………………………………………………………………… 26 3.17 AI 开发框架 ……………………………………………………………………………………… 26 3.18 云原生组件 / 工具 ………………………………………………………………………………… 27 4 开源社区参与现状 …………………………………………………………………………0 码力 | 132 页 | 14.24 MB | 1 年前3Moonshot AI 介绍
Google、MIT、Amazon等团队的使⽤和扩展,并获得过OpenAIRL联创及负责⼈John Schulman亲⾃邀请加盟。 iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架,也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模(数⼗PB数据、百万台机器)分 布式系统数量级性能优化的经验。 c. ⽬前团队⼈数超过80⼈,每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。 Remaster][Explicit] 张鹏:⼋卦⼀下,你原来在乐队⾥是哪个位置? 杨植麟:原来是⿎⼿。张鹏:⿎⼿在乐队⾥⼤概是⼀个什么样的定位? 杨植麟:我觉得是掌握节奏,为整个乐队的演奏提供⼀个框架。 构建新的组织形式是通往AGI的必经之路 张鹏:投⾝到⼤模型赛道⾥。你当时是怎么做出这个决⼼,并选择要做⼀个组织来投⾝其中的?能不 能分享下当年的决策逻辑? FounderPark 好像经常会⼆选⼀,是bottom-up还是 top-down?你在构想这套创新的组织时,是怎么去定义的? 杨植麟:我觉得top-down这个⼤的框架肯定还是适⽤的,特别是对于⼤模型来说,有⼀个top down的框架是⾮常重要的。 Top-down讲究的其实是leadership的vision,就是你能不能判断什么是对的、要做的事情,然后什 么可能是你现在不要做的事情。0 码力 | 74 页 | 1.64 MB | 1 年前3中国开源软件产业研究报告
Reliability 3.8% 开源最佳实践 3.8% 其他 11.5% 库 22.9% 大数据 11.1% 网络服务器 8.9% 可扩展标记语言 6.8% 数据库 5.7% web框架 5.4% 网络客户端 5.4% 内容 4.6% 构造管理 4.6% 云 3.5% 其他 21.1% 全球开源项目分布 总量持续上升,项目类型反映市场需求与热度 全球对开源的热 区提供服务,2021年Linux基金会中云计算、容器和虚拟化开源项目的占 比最大,达到22.7%。整体来看,全球开源项目类型集中在开发框架、文档类开源项目、云计算等相关领域。此外,开源 项目的类型往往能反映当前市场关注的热点,如容器与云原生应用技术、人工智能开发框架等技术的流行。 来源:Apache软件基金会,艾瑞咨询研究院根据公开资料研究及绘制。 来源:Linux基金会,艾瑞咨询研究院根据公开资料研究及绘制。 开源软件产品丰富了云厂商的产品矩阵——以云数据库为例 除了搭建基础云服务的软件平台之外,全球范围内主流公有云平台上的部分产品也是基于开源软件二次开发和托管,典型 代表包括数据库、大数据分析框架、AI开发框架、DevOps开发和运维工具等。对于云厂商而言,成熟的开源软件已经具 备了成熟的市场和用户群体,而厂商基于开源软件和社区资源进行二次开发并提供配套服务的成本较低,能够借助这些产 品的市场影响力0 码力 | 68 页 | 3.63 MB | 1 年前32024 中国开源开发者报告
中国开源开发者报告重点聚焦大模型,本章节以大模 型 LLM 开发技术栈作为切入点,将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent,以及检索增强生成(RAG)等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态,我们使用了 对开源社区的生态评 开发基础设施,本部分图表 中的开发框架、向量数据库、 开发平台、大模型均表现出 色,代表着它们的代码提交 频率、参与者、代码合并比 率等协作开发工作保持着较 高的水平。 17 / 111 OSS Compass Insight 本部分图表仅用于数据展示,不涉及先后排名 稳健性-活跃度 作为 AI 开发生态中的关键组 成部分,本部分图表中的开发 框架、大模型及相关工具在活 跃度的表现各有千秋。 2.0(专家建议稿)》对于免费且已开源方式提供人工智能研发的个人和 组织给予减轻或免承担法律责任;《生成式人工智能服务管理暂行办法》 则明确了人工智能技 术的使用和合规要求,促进了开源模型在合规框架下良性发展。 变革 端上模型的兴起与隐私保护 随着小型模型的性能逐步增强,更多高级 AI 正转向在个人设备上运行。这一趋势不仅显著 降低了云端推理成本,还提升了用户隐私控制。 中国 AI 社区在这一领域也做了重要贡献,推出了如0 码力 | 111 页 | 11.44 MB | 8 月前32021 中国开源年度报告
并驾齐驱,某种程度反映了当下的技术热点趋势。开源的大数据 项目,Java (以及基于 JVM 的 Scala)是绝对主力,比如大家耳熟能详的 Hadoop, HBase, Spark 等,而开源的 AI 框架类项目,如:TensorFlow, PyTorch, MindSpore 等,则主要 由 Python 语言所构成。未来,这两大语言还将持续在各自擅长的领域发光发热。 Du Junping: Python Python's advantages over Java should continue to expand. 3.8 Java 开发框架 / 3.8 Java Development Framework Java 开发框架的使用中,Spring 以绝对优势遥遥领先。 Spring is far and away from the leader in using Java time being 3.9 PHP 开发框架 / 3.9 PHP Development Framework PHP 开发框架以 Thinkphp 的使用居多。 PHP development frameworks are predominantly used with Thinkphp. 3.10 Ruby 开发框架 / 3.10 Ruby Development Framework0 码力 | 199 页 | 9.63 MB | 1 年前3JumpServer ⼴受欢迎的开源堡垒机
⼩红书的 JumpServer ⼤规模 资产跨版本迁移之路 万华化学通过 JumpServer 管 理全球化分布式 IT 资产 博世通过 JumpServer 管控⼤ 规模资产并实现⾼并发访问 通过 JumpServer 纳管⼤规模 云上资产 JumpServer 让“⼤智慧”的混合 IT 运维更智慧 JumpServer ⾼效管控异构 化、分布式云端资产 中国矿业⼤学基于JumpServer0 码力 | 40 页 | 6.66 MB | 1 年前3
共 11 条
- 1
- 2