2021 中国开源年度报告
Comment] 堵俊平:Python 和 Java 并驾齐驱,某种程度反映了当下的技术热点趋势。开源的大数据 项目,Java (以及基于 JVM 的 Scala)是绝对主力,比如大家耳熟能详的 Hadoop, HBase, Spark 等,而开源的 AI 框架类项目,如:TensorFlow, PyTorch, MindSpore 等,则主要 由 Python 语言所构成。未来,这两大语言还将持续在各自擅长的领域发光发热。 JVM-based Scala) is the absolute mainstay of open source big data projects, such as the familiar Hadoop, HBase, Spark, etc., while open source AI framework projects, such as TensorFlow, PyTorch, MindSpore 或者在专门的商业版本中发布。开放核心模式是指公司的大部分代码库是开源的,而一小部分 (针对生产或企业用户)是专有的。通常,专有功能是生产部署或大规模生产所需的功能。(例 如,对于开源数据库,监控、管理、备份/恢复和集群等功能通常是专有的)。开放核心模式通过 允许开源公司在专有代码库中保留某些功能以此来抵御公共云厂商的竞争。但是,这种模式存 在两个挑战。首先,开源范围的尺度难以拿捏。如果开源部分太多,专有功能的盈利就会变少;0 码力 | 199 页 | 9.63 MB | 1 年前32021 中国开源年度报告
专家点评 堵俊平:Python 和 Java 并驾齐驱,某种程度反映了当下的技术热点趋势。开源的大数据项目,Java ( 以及 基于 JVM 的 Scala) 是绝对主力,比如大家耳熟能详的 Hadoop, HBase, Spark 等,而开源的 AI 框架类项目, 如:TensorFlow, PyTorch, MindSpore 等,则主要由 Python 语言所构成。未来,这两大语言还将持续在 门的商业版本中发布。开放核心模式是指公司的大部分代码库是开源的,而一小部分(针对生产或企业 用户)是专有的。通常,专有功能是生产部署或大规模生产所需的功能。(例如,对于开源数据库,监控、 管理、备份 / 恢复和集群等功能通常是专有的)。开放核心模式通过允许开源公司在专有代码库中保留某 些功能以此来抵御公共云厂商的竞争。但是,这种模式存在两个挑战。首先,开源范围的尺度难以拿捏。 如果开源部分太多,专有功能的盈利就会变少 拥有代码所有权和控制权意味着拥有项目主导权、开发自主权、知识产权和商业模式选择权。一个 开源软件如果要成功地商业化,最好背后只有一家商业化公司。这也是一个历史教训,Cloudera 和 Hortonworks 都是基于 Hadoop 的上市公司,但是因为基于同一个开源项目,中间有很多斗争内耗, 而且由于产品没有明显的差异化,最后价格战的结果就是两败俱伤。相反的,正面例子既有 2021 年上 市的基于 Kafka 项目的0 码力 | 132 页 | 14.24 MB | 1 年前3网易数帆 领先的数字化转型技术与服务提供商 2021
流水线 容器部署 主机部署 策略部署 开放 治理 监控 事务 管理 DevOps 多云部署 服务治理 能力扩展 中间件高可用 全链路监控 容器平台NCS 轻舟混合云 多云管理 多集群管理 镜像仓库 容器管理 轻舟低代码 应用管理 可视化开发 WebIDE 一键发布 资产中心 轻舟中间件 中间件PaaS RDS MySQL Redis Kafka RocketMQ 效集成企业存量应用。 基于开源自主可控 基于社区开源版本,进行源码级内核优 化,性能增强,自主可控。 完备的监控 丰富的企业经验积累,支持完备的监控 指标。 多云混合云 统一视图管理多云、混合云集群,应用多 集群部署、运维。 可视化流水线 模块化能力,支持可视化拖拽,快速配 置不同种类流水线。 国产化适配 ARM 生态支持,支持国产芯片及操作 系统。 可观测性 多维度日志、监控视图,自动化故障运 轻舟中间件 云原生基础设施管理平台,支持应用从代码、部署、运维全生命周期管理。 轻舟混合云 15 大数据底座 Hadoop Spark Flink RDBMS MPP Arctic 数据传输中心 离线数据传输 实时数据传输 运维中心 离线开发平台 实时计算平台 集群运维 任务运维 文件管理 任务开发 租户管理 自助分析 权限管理 可视化调度 数据开发及管理平台 标签画像0 码力 | 43 页 | 884.64 KB | 1 年前32020 中国开源年度报告
社区来说,过去的⼀年发展还算迅速,去年 TiDB 4.0 版本正式推出了 TiFlash 列 式引擎。在 Real-time HTAP 的道路上迈出了坚实的⼀步。从我们的数据上来看,接近 1/3 的 4.0 集群⽤上了 TiFlash。说明直接在 TP 的数据上作实时的数据洞察是普遍的需求。 其中可以感受到国内的开源氛围及开发者的活跃度也在逐步提升,我们从 2019 年底的 500+ contributor PetaBytes 数据快⼀个数量级。 apache/incubator-teaclave,⼀个开源的通⽤安全计算平台,使对隐私敏感的数 据的计算安全且简单。 apache/hadoop-ozone,Ozone 是适⽤于 Hadoop 的可扩展、冗余和分布式对象存储。 在上述三个项⽬中,carbondata 明显不在 UTC+8 时区,⽽在 UTC+4、5 时区,这是因为 其主要维护者 Ravindra 是印度⼈,与时区匹配;teaclave 的时间分布则完全是美国时 间,中国⽩天⼏乎都是静默期,虽然是百度捐献的项⽬,但其维护者 Mingshen Sun 其实位于 美国⻄海岸,⽽⾮国内;相⽐⽽⾔,hadoop-ozone 明显是全球化做的最好的⼀个项⽬。 4、案例分析——CNCF 4.1 简介 CNCF 全称为云原⽣计算基⾦会(Cloud Native Computing Foundation),是0 码力 | 46 页 | 4.09 MB | 1 年前3全球开源发展态势洞察(2023年第八期)
OSM(Open Service Mesh)是一个轻量级、 可扩展的云原生服务网格项目,旨在为运行在 Kubernetes上的应用程序提供简单、完整且独 立的服务网格解决方案,包括处理在Kuberne- tes集群上运行的微服务的流量管理、策略执行 和可观测性等任务,以简化应用程序的部署和 管理。OSM于2020年8月推出,同年加入云原 生计算基金会(CNCF)。不久后,该项目成为 云原生计算基金会(CNCF)沙箱级别的项目。 Kubernetes安全态势管理平台 近日,KSOC推出业内首个实时Kubernetes安 全态势管理平台。Kubernetes安全态势管理平 台可以通过实时上下文以及当前和历史信息准 确定位攻击活动,同时还可以根据集群的当前 状态提供可操作的补救措施。具体功能包括: • 实时态势管理,发现基于事件的错误配置; • 汇总并找到Kubernetes RBAC中的过度权限; • 防止部署不合规的工作负载,减少潜在爆炸 Azure CNI Overlay Azure CNI Overlay可以利用覆盖的网络来降低 IP地址的使用率,同时提供更好的性能和可扩 展性。借助该功能,AKS集群可以扩展至非常 大的规模,并且用户定义的私有CIDR还可以在 不同AKS集群中重复使用,从而大幅扩展了 AKS中运行的容器化应用程序可用的IP空间。 02 前沿技术 全球开源态势洞察|第十期 04 Envoy Gateway v00 码力 | 22 页 | 1.99 MB | 1 年前3Moonshot AI 介绍
Google、MIT、Amazon等团队的使⽤和扩展,并获得过OpenAIRL联创及负责⼈John Schulman亲⾃邀请加盟。 iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架,也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模(数⼗PB数据、百万台机器)分 布式系统数量级性能优化的经验。 c. ⽬前团队⼈数超过80⼈,每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。 我们其实⽐较有信⼼,在⼀年的时间窗⼝,能够达到10的26次⽅这样规模的模型,资源最终会得到 合理分配的。 海外独⻆兽:OpenAI训下⼀代模型,我们推测有⾄少10万张H100,单个集群也能达到3万张。 OpenAI显然是追求“登⽉”的,不⾜可能是没那么注重⽤⼾和客⼾体验。⽉之暗⾯和OpenAI的差 异化路径会在哪⼉?有什么是⽉之暗⾯能做⽽OpenAI不做的? 有些进展⸺ 如果限定了问题,⽐如数学或者写代码,数据是相对好⽣成的。通⽤的问题现在还没有完全的解法, 但是存在⼀些⽅向可以去探索。 海外独⻆兽:2025年的瓶颈会是能源?因为到时候单个集群规模很⼤,对能源带来挑战。 杨植麟:这些问题其实是连在⼀起的,最后可能是多模态解决数据问题,合成数据解决能源问题。 到了GPT-6这⼀代,掌握合成数据技术的玩家会体现出明显差距。因为数据其实有两种,⼀种是做0 码力 | 74 页 | 1.64 MB | 1 年前3JumpServer ⼴受欢迎的开源堡垒机
⼴泛的多云管理⽀持 ⾃动同步与纳管 特⾊功能⼆ JS - 1 统⼀存储 缓存 A.jms.com 离散⼊⼝分布式部署⽅案 区域 A 区域 B 超⼤规模分布式资产⽀持 - ⽀持多分⽀、多区域的集群分布式互联部署 - B.jms.com 负载均衡 JS - 2 JS - N JS - A 负载均衡 JS - B JS - N 访问不同的节点, 访问不同地域资产 数据库 JS - 增强包和原⼚企业级⽀持服务(增强级)。 ⽀持单机、热备或⾼ 可⽤三种部署⽅式 按套 按年 提示:⾮旗舰版⽀持热备份(Keeplived、负载均衡模式等)、应⽤组件⾼可⽤、Kubernetes 集群部署等模式,需要额外的实施及维护费⽤。 X-Pack 增强包 组织管理 资产同步 账号备份 单点登录系统对接 账号改密 ⼯单管理 账号收集 ⾃定义 LOGO 与主题 访问控制 RADIUS 企业级⽀持服务内容(增强级) ⽀持服务 7×24 ⼯单及电话⽀持服务,1 个⼩时内响应客户⼯单;接到故障申报后,⼯程师通过电话⽀持、远程接 ⼊等⽅式协助客户及时排除软件故障。 安装架构 单机架构、主备架构、集群架构、分布式架构。 培训⽅式 提供离线视频、远程会议、现场培训。 产品安装 提供安装⽂档、远程安装、现场安装。 现场紧急救助服务 合计 5 ⼈天的原⼚专业服务:可提供现场安装服务、现场紧急救助服务、现场软件故障排査等服务。0 码力 | 40 页 | 6.66 MB | 1 年前3中国开源软件产业研究报告
HydroFS 分布式文件系统 QuanXiang低代码平台 OpenELB 负载均衡器 KUBEKEY K8s安装系统 OPENPITRIX 应用发布和管理平台 KUBEEYE K8s集群自动巡检工具 Fluentbit Operator K8s的Fluent Bit kube-events K8s事件处理 Notification Manager K8s消息通知 Alerting Console前端React组件库 ks-devops 云原生DevOps平台 Radon MySQL 分布式数据库组件 RadonDB MySQL Kubernetes MySQL 容器化 Xenon MySQL 集群高可用组件 pg_recovery PG 数据找回工具 RadonDB PostgreSQL Kubernetes PostgreSQL 容器化 RadonDB ClickHouse Kubernetes 于2018年开始写第一行代码,截止到2021年末, KubeSphere已发布11个版本。KubeSphere提供了对开发者友好的向导式操作界面和丰富的企业级功能,包括Kubernetes 多云与多集群管理、DevOps (CI/CD)、应用生命周期管理、边缘计算、微服务治理、多租户管理、可观测性、存储与网络 管理、GPU support等功能,目前已被国内数千家企业在生产环境采用,覆盖了银行、保险、在线教育、制造业、物流、0 码力 | 68 页 | 3.63 MB | 1 年前32024 中国开源开发者报告
MiniMax 等。 其次是由 TogetherAI、Groq、Fireworks、Replicate、硅基流动等组成的 GPU 推理集群 服务提供商,它们处理扩展与缩减等技术难题,并在基本计算费用基础上收取额外费用,从 而让应用公司无需承担构建和管理 GPU 推理集群的高昂成本,而是可以直接利用抽象化的 AI 基础设施服务。 第三类是传统的云计算平台,例如亚马逊的 Amazon Bedrock、阿里云百炼平台、微软的 Mooncake,以超大规模 KVCache 缓存池为中心,通 101 / 111 过以存换算的创新理念大幅度减少算力开销,显著提升了推理吞吐量。其中 Mooncake Store 组件可以充分利用推理集群中的 CPU、DRAM 和 SSD 资源形成一个高效的多级 KVCache 缓 存池。通过共享 KVCache,大幅度减少对于 GPU 资源的消耗。 大模型的未来与算力基础设施的转型 AI 大 记忆存储以存换算, 是 AI 推理新趋势。AI 存储是人工智能大模型的关键基座,存储系统存在于大模型生命周期的每 一环,是大模型的关键基座,通过以存强算、以存换算,先进的 AI 存储能够提升训练集群可用 度,降低推理成本,提升用户体验。 趋境科技成立于 2023 年底,基于业界首创的以存换算和全系统异构协同推理架构推出“大模型知识推理 一体机”,为用户提供开箱即用的大模型落地解决方案。公司创始团队均来自清华大学,在0 码力 | 111 页 | 11.44 MB | 8 月前32023 中国开源开发者报告
发布:支持 K8s v1.26 该版本带来了值得大家关注的新功能以及增强:扩大对 Kubernetes 的支 持范围,最新稳定性支持 1.26;重构告警策略架构,解耦为告警规则与 规则组;提升集群别名展示权重,减少原集群名称不可修改导致的管理问 题;升级 KubeEdge 组件到 v1.13 等。 Apache SeaTunnel Web 是 SeaTunnel 项目下的一个新组件,专为那些希 望通过0 码力 | 87 页 | 31.99 MB | 1 年前3
共 11 条
- 1
- 2