2021 中国开源年度报告
Comment] 堵俊平:Python 和 Java 并驾齐驱,某种程度反映了当下的技术热点趋势。开源的大数据 项目,Java (以及基于 JVM 的 Scala)是绝对主力,比如大家耳熟能详的 Hadoop, HBase, Spark 等,而开源的 AI 框架类项目,如:TensorFlow, PyTorch, MindSpore 等,则主要 由 Python 语言所构成。未来,这两大语言还将持续在各自擅长的领域发光发热。 JVM-based Scala) is the absolute mainstay of open source big data projects, such as the familiar Hadoop, HBase, Spark, etc., while open source AI framework projects, such as TensorFlow, PyTorch, MindSpore 或者在专门的商业版本中发布。开放核心模式是指公司的大部分代码库是开源的,而一小部分 (针对生产或企业用户)是专有的。通常,专有功能是生产部署或大规模生产所需的功能。(例 如,对于开源数据库,监控、管理、备份/恢复和集群等功能通常是专有的)。开放核心模式通过 允许开源公司在专有代码库中保留某些功能以此来抵御公共云厂商的竞争。但是,这种模式存 在两个挑战。首先,开源范围的尺度难以拿捏。如果开源部分太多,专有功能的盈利就会变少;0 码力 | 199 页 | 9.63 MB | 1 年前32021 中国开源年度报告
专家点评 堵俊平:Python 和 Java 并驾齐驱,某种程度反映了当下的技术热点趋势。开源的大数据项目,Java ( 以及 基于 JVM 的 Scala) 是绝对主力,比如大家耳熟能详的 Hadoop, HBase, Spark 等,而开源的 AI 框架类项目, 如:TensorFlow, PyTorch, MindSpore 等,则主要由 Python 语言所构成。未来,这两大语言还将持续在 门的商业版本中发布。开放核心模式是指公司的大部分代码库是开源的,而一小部分(针对生产或企业 用户)是专有的。通常,专有功能是生产部署或大规模生产所需的功能。(例如,对于开源数据库,监控、 管理、备份 / 恢复和集群等功能通常是专有的)。开放核心模式通过允许开源公司在专有代码库中保留某 些功能以此来抵御公共云厂商的竞争。但是,这种模式存在两个挑战。首先,开源范围的尺度难以拿捏。 如果开源部分太多,专有功能的盈利就会变少 拥有代码所有权和控制权意味着拥有项目主导权、开发自主权、知识产权和商业模式选择权。一个 开源软件如果要成功地商业化,最好背后只有一家商业化公司。这也是一个历史教训,Cloudera 和 Hortonworks 都是基于 Hadoop 的上市公司,但是因为基于同一个开源项目,中间有很多斗争内耗, 而且由于产品没有明显的差异化,最后价格战的结果就是两败俱伤。相反的,正面例子既有 2021 年上 市的基于 Kafka 项目的0 码力 | 132 页 | 14.24 MB | 1 年前3网易数帆 领先的数字化转型技术与服务提供商 2021
流水线 容器部署 主机部署 策略部署 开放 治理 监控 事务 管理 DevOps 多云部署 服务治理 能力扩展 中间件高可用 全链路监控 容器平台NCS 轻舟混合云 多云管理 多集群管理 镜像仓库 容器管理 轻舟低代码 应用管理 可视化开发 WebIDE 一键发布 资产中心 轻舟中间件 中间件PaaS RDS MySQL Redis Kafka RocketMQ 效集成企业存量应用。 基于开源自主可控 基于社区开源版本,进行源码级内核优 化,性能增强,自主可控。 完备的监控 丰富的企业经验积累,支持完备的监控 指标。 多云混合云 统一视图管理多云、混合云集群,应用多 集群部署、运维。 可视化流水线 模块化能力,支持可视化拖拽,快速配 置不同种类流水线。 国产化适配 ARM 生态支持,支持国产芯片及操作 系统。 可观测性 多维度日志、监控视图,自动化故障运 轻舟中间件 云原生基础设施管理平台,支持应用从代码、部署、运维全生命周期管理。 轻舟混合云 15 大数据底座 Hadoop Spark Flink RDBMS MPP Arctic 数据传输中心 离线数据传输 实时数据传输 运维中心 离线开发平台 实时计算平台 集群运维 任务运维 文件管理 任务开发 租户管理 自助分析 权限管理 可视化调度 数据开发及管理平台 标签画像0 码力 | 43 页 | 884.64 KB | 1 年前32020 中国开源年度报告
社区来说,过去的⼀年发展还算迅速,去年 TiDB 4.0 版本正式推出了 TiFlash 列 式引擎。在 Real-time HTAP 的道路上迈出了坚实的⼀步。从我们的数据上来看,接近 1/3 的 4.0 集群⽤上了 TiFlash。说明直接在 TP 的数据上作实时的数据洞察是普遍的需求。 其中可以感受到国内的开源氛围及开发者的活跃度也在逐步提升,我们从 2019 年底的 500+ contributor PetaBytes 数据快⼀个数量级。 apache/incubator-teaclave,⼀个开源的通⽤安全计算平台,使对隐私敏感的数 据的计算安全且简单。 apache/hadoop-ozone,Ozone 是适⽤于 Hadoop 的可扩展、冗余和分布式对象存储。 在上述三个项⽬中,carbondata 明显不在 UTC+8 时区,⽽在 UTC+4、5 时区,这是因为 其主要维护者 Ravindra 是印度⼈,与时区匹配;teaclave 的时间分布则完全是美国时 间,中国⽩天⼏乎都是静默期,虽然是百度捐献的项⽬,但其维护者 Mingshen Sun 其实位于 美国⻄海岸,⽽⾮国内;相⽐⽽⾔,hadoop-ozone 明显是全球化做的最好的⼀个项⽬。 4、案例分析——CNCF 4.1 简介 CNCF 全称为云原⽣计算基⾦会(Cloud Native Computing Foundation),是0 码力 | 46 页 | 4.09 MB | 1 年前3全球开源发展态势洞察(2023年第八期)
OSM(Open Service Mesh)是一个轻量级、 可扩展的云原生服务网格项目,旨在为运行在 Kubernetes上的应用程序提供简单、完整且独 立的服务网格解决方案,包括处理在Kuberne- tes集群上运行的微服务的流量管理、策略执行 和可观测性等任务,以简化应用程序的部署和 管理。OSM于2020年8月推出,同年加入云原 生计算基金会(CNCF)。不久后,该项目成为 云原生计算基金会(CNCF)沙箱级别的项目。 Kubernetes安全态势管理平台 近日,KSOC推出业内首个实时Kubernetes安 全态势管理平台。Kubernetes安全态势管理平 台可以通过实时上下文以及当前和历史信息准 确定位攻击活动,同时还可以根据集群的当前 状态提供可操作的补救措施。具体功能包括: • 实时态势管理,发现基于事件的错误配置; • 汇总并找到Kubernetes RBAC中的过度权限; • 防止部署不合规的工作负载,减少潜在爆炸 Azure CNI Overlay Azure CNI Overlay可以利用覆盖的网络来降低 IP地址的使用率,同时提供更好的性能和可扩 展性。借助该功能,AKS集群可以扩展至非常 大的规模,并且用户定义的私有CIDR还可以在 不同AKS集群中重复使用,从而大幅扩展了 AKS中运行的容器化应用程序可用的IP空间。 02 前沿技术 全球开源态势洞察|第十期 04 Envoy Gateway v00 码力 | 22 页 | 1.99 MB | 1 年前3Deepseek R1 本地部署完全手册
A100 等效A100(BF16) 2. 国产硬件推荐配置 模型参数 推荐⽅案 适⽤场景 1.5B 太初T100加速卡 个⼈开发者原型验证 14B 昆仑芯K200集群 企业级复杂任务推理 32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理 四、云端部署替代⽅案 1. 国内云服务商推荐 平台 核⼼优势 适⽤场景 硅基流动 官⽅推荐API,低延迟,⽀持多模态模型 企业级⾼并发推理 中⼩规模模型快速上线 PPIO派欧云 价格仅为OpenAI 1/20,注册赠5000万tokens 低成本尝鲜与测试 2. 国际接⼊渠道(需魔法或外企上⽹环境 ) 英伟达NIM:企业级GPU集群部署(链接) Groq:超低延迟推理(链接) 五、完整671B MoE模型部署(Ollama+Unsloth) 1. 量化⽅案与模型选择 量化版本 ⽂件体 积 最低内存+显存需 求 适⽤场景 GPU利⽤率低:升级⾼带宽内存(如DDR5 5600+)。 扩展交换空间: 六、注意事项与⻛险提示 1. 成本警示: 70B模型:需3张以上80G显存显卡(如RTX A6000),单卡⽤户不可⾏。 671B模型:需8xH100集群,仅限超算中⼼部署。 2. 替代⽅案: 个⼈⽤户推荐使⽤云端API(如硅基流动),免运维且合规。 3. 国产硬件兼容性:需使⽤定制版框架(如昇腾CANN、沐曦MXMLLM)。 llama-gguf-split0 码力 | 7 页 | 932.77 KB | 7 月前3202306 ⼈⼈可⽤的开源数据可视化分析⼯具
部署,⾃带 Doris 与 Kettle 组件; 精简模式 ⽀持精简模式部署,⽆需安装 Doris 与 Kettle,可另外配置 MySQL 引擎存放 Excel 与 API 数据集; 集群模式 ⽀持集群模式部署,各组件可单独进⾏⾼可⽤部署,可在 DataEase 引擎设置与 Kettle 设置处配置组件链接信息。 DataEase 功能列表 数据可视化对企业的价值 DataEase 开源项⽬介绍 企业版(专业)⽀持的最⼤账号数量为 300 个,包含 X-Pack 增强包和企业级⽀持服务。 单机、冷备、分布式 集群 按套 按年 DataEase 企业版 (旗舰) DataEase 企业版(旗舰)不限账号数量,包含 X-Pack 增 强包和企业级⽀持服务。 单机、热备、分布式 集群 按套 按年 DataEase 企业版的三种型号 THANK YOU www.fit2cloud.com0 码力 | 27 页 | 3.61 MB | 1 年前3DataEase 人人可⽤的开源数据可视化分析⼯具 2022 年 06 ⽉
部署,⾃带 Doris 与 Kettle 组件; 精简模式 ⽀持精简模式部署,⽆需安装 Doris 与 Kettle,可另外配置 MySQL 引擎存放 Excel 与 API 数据集; 集群模式 ⽀持集群模式部署,各组件可单独进⾏⾼可⽤部署,可在 DataEase 引擎设置与 Kettle 设置处配置组件链接信息。 DataEase 功能列表 数据可视化对企业的价值 DataEase 开源项⽬介绍 企业版(专业)⽀持的最⼤⽤户数为 299 个, 包含 X-Pack 增强包和企业级⽀持服务。 单机、主备、分布式 集群 按套 按年 DataEase 企业版 (旗舰) DataEase 企业版(旗舰)不限⽤户数,包含 X-Pack 增强 包和企业级⽀持服务。 单机、主备、分布式 集群 按套 按年 THANK YOU www.fit2cloud.com 400-052-0755 北京 ·0 码力 | 27 页 | 10.32 MB | 1 年前3DataEase 人人可⽤的开源数据可视化分析⼯具 2022 年 12 ⽉
部署,⾃带 Doris 与 Kettle 组件; 精简模式 ⽀持精简模式部署,⽆需安装 Doris 与 Kettle,可另外配置 MySQL 引擎存放 Excel 与 API 数据集; 集群模式 ⽀持集群模式部署,各组件可单独进⾏⾼可⽤部署,可在 DataEase 引擎设置与 Kettle 设置处配置组件链接信息。 DataEase 功能列表 数据可视化对企业的价值 DataEase 开源项⽬介绍 企业版(专业)⽀持的最⼤账号数量为 300 个,包含 X-Pack 增强包和企业级⽀持服务。 单机、冷备、分布式 集群 按套 按年 DataEase 企业版 (旗舰) DataEase 企业版(旗舰)不限账号数量,包含 X-Pack 增 强包和企业级⽀持服务。 单机、热备、分布式 集群 按套 按年 DataEase 企业版的三种型号 THANK YOU www.fit2cloud.com0 码力 | 27 页 | 3.58 MB | 1 年前3DataEase 人人可⽤的开源数据可视化分析⼯具 2023 年 04 ⽉
部署,⾃带 Doris 与 Kettle 组件; 精简模式 ⽀持精简模式部署,⽆需安装 Doris 与 Kettle,可另外配置 MySQL 引擎存放 Excel 与 API 数据集; 集群模式 ⽀持集群模式部署,各组件可单独进⾏⾼可⽤部署,可在 DataEase 引擎设置与 Kettle 设置处配置组件链接信息。 DataEase 功能列表 数据可视化对企业的价值 DataEase 开源项⽬介绍 企业版(专业)⽀持的最⼤账号数量为 300 个,包含 X-Pack 增强包和企业级⽀持服务。 单机、冷备、分布式 集群 按套 按年 DataEase 企业版 (旗舰) DataEase 企业版(旗舰)不限账号数量,包含 X-Pack 增 强包和企业级⽀持服务。 单机、热备、分布式 集群 按套 按年 DataEase 企业版的三种型号 THANK YOU www.fit2cloud.com0 码力 | 27 页 | 3.60 MB | 1 年前3
共 68 条
- 1
- 2
- 3
- 4
- 5
- 6
- 7