Moonshot AI 介绍
正“懂”⼤模型的创业者,所以本⽂中有许多反共识的观点:杨植麟觉得微调最终会不存在, tokenizer最后也不⼀定是必须的;硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制,他反⽽觉得所有问 题都是互相关联的,多模态可以缓解数据短缺,合成数据则可以通过改变计算范式解决能源问题。 本⽂还试图回答另⼀个外界普遍关⼼的问题:⼀家新创⽴的AGI公司如何超越OpenAI?杨植麟的答案 是techvisio 以很好地还原⼀些具体细节, 还可以内容做推理。⽤⼾⾃⼰还会发现很多场景,⽐如扔给它50个简历,让它根据你的要求做分析和 筛选。 要做差异化,我认为就是去看这⾥⾯的techspace有多⼤,techspace越⼤,技术、产品、商业层⾯ 能实现的差异化就越⼤。如果技术已经收敛了,那⼤家只能去追赶,就是同质化内卷。 然后我其实⽐较乐观,因为现在仍有巨⼤的techspace。AGI技术可以分为三层: 做tradeoff。但是最终直接训练⼀个万亿的densemodel肯定效果会⽐⼀个只有千亿参数的模型要 好。 海外独⻆兽:Anthropic⼀直在提模型的可解释性,这⼀点其实有蛮多争论。你是如何思考可解释性 的?因为刚刚你也提到了模型是⼀个⿊盒,并且其实⼈类到现在还没有弄清楚⾃⼰的⼤脑是怎么⼯作 的。 杨植麟:可解释性核⼼是个信任的问题。建⽴⼀个信任的⼼智是很重要的,对应的应⽤场景甚⾄可能0 码力 | 74 页 | 1.64 MB | 1 年前32021 中国开源年度报告
中国开源年度报告 问卷篇 2021 中国开源年度报告 11 1 报告背景 2016 年初,开源社发布了《2015 年中国开源社区参会调查报告》,随后的几年中,持续发 布了开发者调查报告,旨在从多种维度呈现国内的开源发展情况。今年我们再次启程,结 合数据分析手段和调查报告等多种形式,绘制一份 2021 年中国开源世界的地图。 这份问卷是每年中国开源年报的重要一环,不基于调研的分析报告不过是纸上谈兵。问卷 3.6 受访者所从事的技术方向 受访者中非技术人员占比最高,后端开发次之,与去年相比,非技术人 员的比例大幅提升,说明开源已经越来越受到各行各业的关注。 注:非技术人员和学生是对受访者的不同维度的刻画,不太能确定非技 术人员中所包含学生的比例,有些学生可能会选择自己未来从事的职业 方向。 专家点评 堵俊平:开源的参与者中非技术人员比例提高说明开源在向各行各业渗透,同时开源自身也需要法务,公共政 业的关注。 注:非技术人员和学生是对受访者的不同维度的刻画,不太能确定非技 术人员中所包含学生的比例,有些学生可能会选择自己未来从事的职业 方向。 专家点评 堵俊平:开源的参与者中非技术人员比例提高说明开源在向各行各业渗透,同时开源自身也需要法务,公共政 策等领域的支撑才能更好的发展。 20 3.7 开发语言 开发语言呈现多超多强的状态,Python 后来居上,超过 Java 成为榜首,0 码力 | 132 页 | 14.24 MB | 1 年前3网易数帆 领先的数字化转型技术与服务提供商 2021
流水线 容器部署 主机部署 策略部署 开放 治理 监控 事务 管理 DevOps 多云部署 服务治理 能力扩展 中间件高可用 全链路监控 容器平台NCS 轻舟混合云 多云管理 多集群管理 镜像仓库 容器管理 轻舟低代码 应用管理 可视化开发 WebIDE 一键发布 资产中心 轻舟中间件 中间件PaaS RDS MySQL Redis Kafka RocketMQ 服务,打破企业软件应用中数 据孤岛等现状。 敏捷 通过小步快跑的方式敏捷迭 代,不断适应市场与业务需求 的变化,摆脱缓慢的大版本更 新与业务需求脱节的窘境。 高效 通过自动化与生产协作方式 的优化,多环节提升软件生产 的效率。 开放 基于开放的技术体系,打造开 放的软件架构。 轻舟云原生软件生产力平台 2.0 能力全景图 轻舟优势 搭建云原生技术底座,助力企业与时俱进实现云上软件创新,支撑业务高速发展。 无侵入式接入,提供注册发现、路由分 流、熔断限流等丰富治理能力。 精细化流量管控 支持不同维度的流量治理,并具备丰富 的流量管控能力。 架构平滑演进 支持单体架构向微服务架构、微服务架 构向服务网格架构平滑演进。 开放兼容 全面覆盖主流微服务开发技术选型,增 强、扩展开源服务网格。 异构应用统一治理 多框架、多协议、多语言服务的统一治 理,避免技术栈重复建设。 异构集成 支持异构协议转换为0 码力 | 43 页 | 884.64 KB | 1 年前32020 中国开源年度报告
王伟,开源社执⾏⻓ 刘天栋,开源社理事 ⼀、问卷篇 1、报告背景 2016 年初,开源社发布了《2015 年中国开源社区参会调查报告》,随后的⼏年中,持续发 布了开发者调查报告,旨在从多种维度呈现国内的开源发展情况。今年我们再次启程,结合数 据分析⼿段和调查报告等多种形式,绘制⼀份 2020 年中国开源世界的地图。 这份问卷是每年中国开源年报的重要⼀环,不基于调研的分析报告不过是纸上谈兵。在往年的 源⽣态的整体繁荣有重要意义。我们期待看到开放原⼦可以成为开源的连接器,连接国际开源 社区、链接国内外优质资源,帮助开源项⽬成⻓与成功。 6、开发者技术现状 6.1 开发语⾔ 开发语⾔呈现多超多强的状态,前三甲分别为 Java、JavaScript 和 Python,排名与去年基 本保持⼀致。 【专家点评】 王伟:编程语⾔是⼤家喜闻乐⻅的话题,排名⽅⾯没有太⼤的变化。值得⼀提的是 SQL 数据篇 中的基础数据全部都是⽤ SQL 跑出来的,是⼀项开发者必备的重要基础技能。 6.2 在线⽂档协作编辑⼯具 在线⽂档编辑⼯具中,⽯墨⽂档是⽬前中国开源社区经常使⽤的⼯具,wiki 也依然是⾮常多参 与者使⽤的协作⼯具。 6.3 编辑器 VS Code 今年仍然是最受欢迎的编辑器,紧随其后的是 vim 以及 notepad++。 6.4 版本控制⼯具 毫⽆疑问的是,Git ⼀枝独秀,具有绝对性优势。SVN、TFS、CVS0 码力 | 46 页 | 4.09 MB | 1 年前32021 中国开源年度报告
Questionnaire 1、报告背景 / 1 Report Background 2016 年初,开源社发布了《2015 年中国开源社区参会调查报告》,随后的几年中,持续发布 了开发者调查报告,旨在从多种维度呈现国内的开源发展情况。今年我们再次启程,结合数据 分析手段和调查报告等多种形式,绘制一份 2021 年中国开源世界的地图。 In early 2016, KaiYuanShe released model, understanding, and open source culture. 江波:我觉得这个数字分布只能体现出我们问卷覆盖的人群中,学生占比相对比较大(毕 竟样本数量只有 500 多),不能提现行业现状。所以我个人对于各位专家对于开源教育的 乐观分析有所保留,我认为目前学生群体参与开源的现状应该有在逐年上升,但远未到占 比 47% 的程度。 Jiang Bo: I think indicating that open source has become more and more popular in all walks of life. 注:非技术人员和学生是对受访者的不同维度的刻画,不太能确定非技术人员中所包含学生的 比例,有些学生可能会选择自己未来从事的职业方向。 Note: Non-technical staff and students are different0 码力 | 199 页 | 9.63 MB | 1 年前32023年中国基础软件开源产业研究白皮书
企业开发者 出于兴趣或求知欲进入 开源社区,希望学习社 区内优秀代码,并与 “大神”交流 以商业视角出发,希望 通过对开源项目的二次 开发形成开源软件的行 业发行版,实现商业收 益 代码贡献多针对于某一 单一模块的能力优化或 Bug修补,商业化潜力 小 基于企业的行业侧经验 积淀,贡献根据特定场 景、行业深度订制的代 码或功能优化,有较强 的商业化潜力 通常使用免费版本,仅 在公共代码仓中分享代 起对外提供能力,帮助客户对数据库作定制化的性能调优 其他厂商:具备一定技术能力,在开源社区中自行下载开 源版本,在云厂商IaaS层上部署自研数据库 互联网厂商 开源数据库 绝大部分基 于云构建, 可在分为两 类: 数据库门类较 多,配套开发 工具较齐全 TiDB OceanBase PolarDB GDB 代表开源厂商及产品 阿里 PingCAP 兼具开源与商 业发行版数据 库 openGauss 华为 传统行业中最 单机极致性能 2020.12 Preview 1.0 企业级特性 2021.03 Release 2.0 高性能/高可靠/ 高安全/高智能 2021.09 Preview 2.1 多场景支持 2022.03 Release 3.0 分布式解决方案 2022.09 Preview 3.1 资源池化 数据安全生命周期自动化管理 2023.09 Release 5.10 码力 | 43 页 | 4.69 MB | 1 年前3中国开源软件产业研究报告
iresearch.com.cn 来源:中国信通院,新思科技《2020年开源安全与风险分析报告》 ,艾瑞咨询研究院根据公开资料研究及绘制。 企业开源的战略意义(二) 开源在企业中的使用率提升,带来多维度战略价值 除前文所述的商业价值和成本优化之外,开源软件产业对企业的战略意义还体现在以下三方面:1)技术价值,对具备技 术优势的头部企业而言,开源可加强同业间的交流,实现产品优化,走向国际;对技术能力较弱的企业来说,开源可实现 6倍,且增长率始终保持在较高水平,均处于14%左右,为开源产业的发展提供了良好的市场基础。 软件中的开源行为往往集中于基础软件,如操作系统、数据库等,原因为基础软件本身的开发难度大、后期维护迭代成本 高,开源能够在降低成本的同时提供多双眼睛,让迭代过程更加迅速。从收入规模上看,我国的基础软件产业在软件业务 中占据比例约为10%,2012年至2019年的复合增长率为14.4%,呈现良好的增长态势,为开源产业提供成长突破口。 3.1 11% 11% 2014 2015 2016 2017 2018 2019 信息技术服务收入占比(%) 软件产品收入占比(%) 其他(%) 2014-2019年中国软件产业收入结构 从不同渠道和维度统计的信息一般认为,中国最为 活跃的开源企业一般为“BATH”四大综合科技企 业以及其他互联网、云计算企业等 从可行性角度上讲,上述企业具备较强的技术、人才和资金 能力,能够自主进行或支持大规模开源运营0 码力 | 68 页 | 3.63 MB | 1 年前32023 中国开源开发者报告
Bard,作为其首次亮相的对话 LLM 产品,无疑具有其里程碑意义,尽管它的首秀并不尽 如人意,车翻了又翻。 三、 Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索,甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表,它的 出现,犹如一颗投入平静湖面的石子,激荡起层层水波, 可以根据开发者的代码提示自动补 全代码,大大提高了开发效率。这也引发了代码原创性的讨 论,但它已经实实在在将 LLM 拉进了编程应用领域。 六、 LangChain 的出现,实现了 LLM 之间的链式交互,使多 个 LLM 模型串联工作,发挥各自的优势,并且可以将 LLM 模型与外部数据源进行连接,产生更强大的语言理解 和生成效果。这开启了 LLM 集成应用的新方向,并诞生了 一个新的细分领域“LLMOps”。 有人称之为“造商业概念”,这里按下不表。 十、 镜头给到国内。相比国际上当前逢 AI 必 GenAI,国内更 多地还是在 LLM 这一层面,Robin Li 的“卷大模型没意 义,卷应用机会更大”,其实很深刻地指出了内中区别。 本报告以开发者视角为主,从 LLM 切入,但实际上或多 或少与 GenAI 脱不开关系。 2023 年国内 LLM 发展活跃,从最初的百度文心一言“硬 刚”Ch0 码力 | 87 页 | 31.99 MB | 1 年前32024 中国开源开发者报告
从技术到生态,中国通过自主研发和协同创新,逐步完成了从“追随者”到“引领者”的转变。 这种转变不仅是技术实力的体现,更是中国人工智能生态系统快速完善的真实写照。以下,我们 将从崛起与变革两个维度,探讨中国开源模型在这一年取得的重大成就和未来展望。 崛起 从“追随者”到“引领者” 2024 年,中国学术界和产业界大力推进自主研发,在技术创新和模型能力上实现了显著飞 跃,并在全球范围内取得了显著成就。 https://huggingface.co/spaces/ zh-ai-community/zh-model-rel ease-heatmap 21 / 111 其中,Qwen 系列凭借灵活的多尺寸选项,强大的多语言支持以及友好的模型授权功能, 赢得了社区开发者的高度评价。DeepSeek 通过引入多头潜在注意力(Multi-head Latent Attention, MLA)技术,在 中国开源模型的发展不仅体现在技术突破上,还在生态建设中展现出巨大的活力。中国开源 模型从竞争激烈的“百模大战”逐步迈向多元化和深度细分,国内社区在今年发布了大量高质量 开源模型,尤其是多模态理解与生成模型: 多模态理解:Qwen2-VL、Ovis、InternVL2、DeepSeek JanusFlow、GOT-OCR2_0; 图片生成:PixArt、Lumina、Kolors、Hunyua0 码力 | 111 页 | 11.44 MB | 8 月前3JumpServer ⼴受欢迎的开源堡垒机
⼴泛的多云管理⽀持 ⾃动同步与纳管 特⾊功能⼆ JS - 1 统⼀存储 缓存 A.jms.com 离散⼊⼝分布式部署⽅案 区域 A 区域 B 超⼤规模分布式资产⽀持 - ⽀持多分⽀、多区域的集群分布式互联部署 - B.jms.com 负载均衡 JS - 2 JS - N JS - A 负载均衡 JS - B JS - N 访问不同的节点, 访问不同地域资产 数据库 JumpServer 堡垒机助⼒⾏业 云安全运维 JumpServer 部分公开案例 • ⻓期使⽤ JumpServer 堡 垒 机 ⽼ 旧 的 社 区 版; • 早期版本功能陈旧, 且安全漏洞多; • 开源社区针对早期版 本的⽀持严重滞后。 版本升级 超⼤规模资产纳管 补强平台能⼒ 专业服务⽀持 • 纳 管 资 产 数 量 超 过 数万台; • ⽤户数量⼤,链接负 载⾼; JumpServer 既有 的授权规则和使⽤ 部⻔的应⽤体验⽆ 缝迁移⾄新平台。 管理体验平滑过渡 客户收益 客户挑战 • 农信社多分⾏的模式 需要多租户体系作为 ⽀撑; • 传统堡垒机不⽀持多 租户; • 每个租户需要进⾏独 ⽴的资源管理。 多租户 统⼀服务 海量录像 订阅模式 • 堡垒机需要作为江苏 农信⾏业云的云服务 之⼀; • 资产⾃动添加到堡垒 机中; • 和云管平台打通,形0 码力 | 40 页 | 6.66 MB | 1 年前3
共 11 条
- 1
- 2