Moonshot AI 介绍
不应该存在, ⽤⼾跟模型的交互历史就是最好的个性化过程,历史上每⼀代技术都是在提升contextlength。 杨植麟⾝上的标签有天才AI科学家、连续创业者……在这次深度访谈中,他再次证明⾃⼰是个真 正“懂”⼤模型的创业者,所以本⽂中有许多反共识的观点:杨植麟觉得微调最终会不存在, tokenizer最后也不⼀定是必须的;硅⾕⼤模型训练者们担⼼数据瓶颈和能源限制,他反⽽觉得所有问 增加。 ⽉之暗⾯:最好的⼈才需要unlearn能⼒ 海外独⻆兽:AGI公司最理想的CEO画像应该是什么样的? 杨植麟:⼀⽅⾯需要有techvision。不能⼀直做别⼈已经证明过的东西。真的AGI公司必须有⾃⼰独 特的技术判断,⽽且这个判断应该影响到公司的整体⽅向。如果⼀号位不能拍板也不⾏。我们年初已 经在做auto-regressive的多模态、lossle 海外独⻆兽:但有可能投资⼈分辨不出来到底谁的techvision是最领先的。 杨植麟:我不太担⼼这个问题。现在就是最好的分配⽅式,更接近⼀个⾃由市场,最后会有最⾼的分 配效率。我们要跟别⼈证明的也不是我们的vision,因为vision是⼀个抽象的东西,还是要通过真实 的deliver模型和产品。Anthropic放出Claude这些模型之后,⻢上就得到了更多的资源。市场是公0 码力 | 74 页 | 1.64 MB | 1 年前32024 中国开源开发者报告
当这个机制还正在进行的时候,开源大模型的未来就必然受到它的拉扯。决策要同时具有判 断力和执行力,要团结就倾其所有的团结,要对抗就看准了方向全压上去。“见小利而忘义,临 大事而惜身”,单纯经济观点和单纯科技观点,那只能证明开源大模型的有用性是一个伪命题。 附录:自我辩护 知乎上有一个故事:中世纪欧洲签订契约有一种奇妙的方法,因为大家普遍不识字,所以就 到路边随机抓一个小男孩过来暴打一顿;二十年后问小男孩那天发生了什么,记忆犹新。 技术路线在 Chunks 构建、召回、答案生成及评价指标上有所差异。 GraphRAG 类方法有效缓解了 RAG 跨文档语义关联不足的问题,无论在摘要问答和多跳 问答上都取得了较大的效果提升,证明了这类方法的有效性。 后续开源的 LightRAG、DB-GPT、lazyGraphRAG 是针对 GraphRAG 资源消耗大的方法 改进,OpenSPG 开源的 KAG 较多的借鉴了 HippoRAG 月,采用 Intel CPU+Nvidia GPU+FT-1000 异构结构的“天河一号 大江 A”荣登 Top500 榜首,打破了长期以来美日霸榜的格局。 虽然彼时的英伟达 GPU 与 CUDA 已被证明是构建超级计算机的神器,但却尚未与这一 轮 AI 浪潮直接关联起来。 3.3 汇聚:算法+数据+算力 84 / 111 普林斯顿大学李飞飞教授于 2009 年发布 ImageNet[20],随后为了推广0 码力 | 111 页 | 11.44 MB | 8 月前32023 中国开源开发者报告
AI)代表了微软在 LLM 领域的野心和 决心,它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“智能对话+联网搜索”——无缝整合了起来, 大有干掉搜索行业和问答社区的趋势,而后事实证明,全 球 最 强 IT 问 答 社 区 Stack OverFlow 深 受 其 害 。 Google 紧随其后推出 Bard,作为其首次亮相的对话 LLM 产品,无疑具有其里程碑意义,尽管它的首秀并不尽 简洁性,到头来仍旧会添加了这些内容,不仅语言超着复杂方面进化,实现功 力未必赶得上 C++。Bjarne 说过,世界上只有两种语言,一种没人用,另一 种是一边用一边骂的语言。 dwcz:这文章就证明了 C 系语言的没落。就像汇编的没落一样--人们需要的 是更先进和更方便的编程方式,而不是语言上的改良。现在 AI 都可以替代一 部分工作了,还在讨论语言的安全和高效,已经没意义了。C++之父还没理解0 码力 | 87 页 | 31.99 MB | 1 年前3全球开源发展态势洞察(2023年第八期)
多的人了解如何开展红队测试和评估人工智能模 型,才能解决这些模型中的各种问题。”通过对 人工智能模型组开展最大规模的红队演习,AI Village和DEF CON希望能培养出处理人工智能 系统漏洞的研究者社区。事实证明,大语言模型 的锁定难度远超想象,部分原因在于所谓“提示 词注入”技术。人工智能研究员Simon Willison 详细介绍了提示词注入的危险,这种技术可以令 语言模型偏离正轨,执行创建者想要回避的操0 码力 | 22 页 | 1.99 MB | 1 年前3中国开源软件产业研究报告
法》起诉被告侵害 软件著作权。 开源软件“抄袭”违 反什么法律? 软件的“抄袭”可以被认定。在法律实践中,应当将原告主张权利的计算机软件源程序 与被诉侵权的计算机软件源程序进行对比,在案证据能够证明原告主张权利的计算机软 件源程序、文档等文件与被诉侵权的计算机软件相同或者相近似的,可以认定二者构成 实质性相似。 是否能认定软件“抄 袭”,如何做到? 我国法律认为:开源协议属于公开可自由取得的文件,著作权人在公开源代码时明确声0 码力 | 68 页 | 3.63 MB | 1 年前32021 中国开源年度报告
每年的托管和服务费获利。 托管意味着提供一个完全托管的项目版本,当用户想要在生产中部署时,可以使用该软件启动远程服务器, 而不必担心它不用担心备份、停机、升级等问题。Databricks、Acquia 等公司已经成功证明了托管模 式商业化路径的可行性。但是这也引起了公有云提供商(例如 AWS)与开源社区的矛盾。 Restrictive Licensing 限制性许可——通过提供一个带有稍带限制的开源许可证来激励使用者进行付0 码力 | 132 页 | 14.24 MB | 1 年前32021 中国开源年度报告
务费获利。托管意味着提供一个完全托管的项目版本,当用户想要在生产中部署时,可以使用 该软件启动远程服务器,而不必担心它不用担心备份、停机、升级等问题。Databricks、Acquia 等公司已经成功证明了托管模式商业化路径的可行性。但是这也引起了公有云提供商(例如 AWS)与开源社区的矛盾。 Hosting: Vendors host their open source software on0 码力 | 199 页 | 9.63 MB | 1 年前3
共 7 条
- 1