Open Flags 调研
© XXX Page 1 of 23 open flags 调研(已实现)© XXX Page 2 of 23 open接口原型 open flags flags定义 flags的含义 libfuse open open flags 在curvefs上的测试 open flags 实现方式 整体flags支持方案 具体flag的实现方案 O_TRUNC I/O模式类 O_DIRECT O_SYNC write fi->direct_io = 0 O_SYNC, O_DSYNC 同步I/O:强制刷新内核缓冲区到输出文件© XXX Page 21 of 23 对chubaofs和cephfs代码调研中发现在write中判断如果是直接IO则调用flush操作,但是对具体flush内容主要是对文件系统自己缓存的内容进行刷盘,没有发现对应内核缓冲区flush的相关设置或调用等。© XXX Page 220 码力 | 23 页 | 524.47 KB | 5 月前3CurveFs 用户权限系统调研
© XXX Page 1 of 33 CurveFs 用户权限系统调研(已实现)© XXX Page 2 of 33 一、Curvefs测试 1. 启动curvefs 问题1:root用户无法访问挂载目录 测试 allow_root 测试allow_other 参考文献 问题2:本地文件系统挂载默认是共享的? 问题3:文件系统访问控制是在哪一层实现的? 二、文件系统权限管理 文件类型0 码力 | 33 页 | 732.13 KB | 5 月前3CurveFS方案设计
Page 2 of 14 时间 修订人 修订内容 2021-03-23 李小翠 初稿(背景,调研,架构设计) 2021-03-30 李小翠 增加快照部分 2021-04-13 李小翠、陈威 补充元数据数据结构 2021-04-19 李小翠、吴汉卿、许超杰等 补充文件空间分配,讨论与确认 背景 调研 开源fs 性能对比 可行性分析 方案对比 对比结论 架构设计 卷和文件系统 元数据架构 据库的场景。当前Curve是实现了块存储,向上提供块设备服务,CurveFS会基于此实现。第一阶段的目标是实现 满足数据库场景的文件接口。 调研 开源fs 当前对已有的开源分布式文件系统进行了调研,主要包括系统架构,元数据内存结构,元数据持久化,调研文档如下: chubaofs: ChubaoFS© XXX Page 3 of 14 1. 2. 3. moosefs: 。测试结果c开发的moosefs和fastcfs元数据性能远优于go开发的chubaofs和c开发的cephfs,理论上分析这个结果是合理的,分布式的元数据设 调研测试 计会涉及到多次rpc的交互。这里需要确认的一点是:我们需要怎样的元数据节点的性能? 可行性分析 方案对比 根据上述调研和测试结果,我们考虑了三种curvefs的元数据设计方案: CurveFS kv方案设计 curve实现块设备时,元数据不是扁平化的设计,而是采用来有目录层级的0 码力 | 14 页 | 619.32 KB | 5 月前32023年中国基础软件开源产业研究白皮书
从国内角度看中国开源现状 Gitee2022年平台上开源指标的变化 平台仓库 2500万 新增用户 200万 新仓库 480万 总用户 1000万 CSDN2023年调研:使用开源软件的开发者比例 64% 32% 2% 2% 经常使用 偶尔使用 不清楚 从未使用 42% 49% 2022 2023 开发者参与开 源项目的比例 8 中国开源基础软件 ©2023.11 iResearch Inc. www.iresearch.com.cn 来源:CSDN 2023中国开发者调查报告,艾瑞咨询研究院自主研究及绘制。 来源:OMDIA 中国人工智能框架市场调研报告,艾瑞咨询研究院自主研究及绘制。 AI框架的开源趋势 AI现已经成为最受关注的开源领域,部分得益于海外厂商对AI框架开源的促进。2015年是AI开源的重要一年,TensorFlow、 MXN 作尽最大努力的追 求,但不作任何保证。在任何情况下,本报告中的信息或所表述的观点均不构成任何建议。 本报告中发布的调研数据采用样本调研方法,其数据结果受到样本的影响。由于调研方法及样本的限 制,调查资料收集范围的限制,该数据仅代表调研时间和人群的基本状况,仅服务于当前的调研目 的,为市场和客户提供基本参考。受研究方法和数据获取资源的限制,本报告只提供给用户作为市场 参考资料,本公司对该报告的数据和观点不承担法律责任。0 码力 | 43 页 | 4.69 MB | 1 年前301. MOSN 高性能网络扩展实践 - 王发康
com/wangfakang 目 录 MoE 背景介绍 01 MoE 方案介绍 02 MoE 实践效果 03 MoE Roadmap 04 MoE 背景介绍 MoE 是什么 为什么做 MoE 方案调研与分析 MoE 背景介绍 — 什么是 MoE 处理性能高 (C++) 研发效能高 (GoLang、生态) 高性能、高研发效能、生态打通 MoE = MOSN + Envoy 相互融合,各取所长 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MoE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不方便 支持的库(SDK)相对较少 WASM Extension 跨语言语言支持(C/C++/Rust)、 研发效率高,灵活性高; GoLang 支持的库比较多(Consul、 Redis、Kafka etc),生态较好 引入 GoLang 扩展后,有一定性能损 耗,业务场景可接受,另外有优化 空间 扩展方案调研 MoE 背景介绍 — 方案分析 方案名称 稳定性 性能 成本 生态 Lua Extension 高 高 高 较低 WASM Extension ES 低 高 活跃 External Processing0 码力 | 29 页 | 2.80 MB | 1 年前32019-2021 美团技术年货 前端篇
一种方案基于神经网络的代码生成算法虽然简单粗暴,但复杂层布局的准确率较低、 可解释程度不高导致后续无法持续优化。方案二中 Sketch 源文件信息量丰富、算法 自定义程度高、优化空间大。因此,我们调研了业界基于 Sketch 的代码自动生成方 案(已对外公布或者开源),发现了一些不足并尝试解决,下面从算法准确率、代码可 读性、研发流程覆盖度等方面做一下对比(该对比结果仅考察业界方案对我们自己业 最终我们的核心痛点围绕在了美团系·小程序和美团系·App 矩阵上的同一个需求 的多次开发运维上,为了解决研发人力瓶颈问题,我们需要一款“一次研发,多终端 前端 < 75 容器复用”的研发框架来提升研发效率。 调研整个前端领域,我们找到了一些业界的解决方案,像是美团最早的 mpvue、腾 讯的 Wepy、滴滴的 Chameleon、京东的 Taro 等等。在经过比较与试用之后,我 们最终基于投入产出比的价 容器、Mach 容器、PC 浏览器容器)运行的需求。 ● 业务方有特定的场景化诉求,包括推广页、模块化、小游戏、PC/App 同构等等。 三、挑战与优势 3.1 业界调研 针对上述核心目标和应用场景,我们对市面上的跨容器框架进行了调研。由于美团外 卖的技术栈统一是 React 为主,所以我们的必备要求是:一款以 React 为 DSL 语言 的复用框架,能快速融入美团的技术生态。 根据下表的对比,如果以0 码力 | 738 页 | 50.29 MB | 1 年前3CurveFS rename 接口实现方案
rename 接口实现方案(已实现,选用方案二)© XXX Page 2 of 15 1. 2. 3. 4. 1. 2. 1. 3. 1. 2. 背景 方案调研 Chubaofs Juicefs 方案实现 方案一:chubaofs 方案二:事务方案 方案三:利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作? rename 接口实现的调研及方案设计。 rename 操作,主要操作的是 dentry,如 rename /dir1/file1 /dir2/file2,主要有 2 个步骤:(1) 删除 file1 的 dentry,(2) 增加 file2 的 dentry(该 dentry 的 inodeid 等同 file1 的 inode id)。 关于 rename 接口的实现,主要调研了 chubaofs chubaofs 和 juicefs,而 rename 的实现难点主要在于其原子性的保证。 方案调研 Chubaofs chubaofs 中的 rename 实现不是原子性的,它是通 用创建源文件的硬连接,然后删除源文件的方式来实现的,主要有以下 4 步 : 将源文件的 nlink 加一 创建目标文件的 dentry 删除源文件的 dentry 将源文件的 nlink 减一 而每一步骤都有可能出错,chubaofs0 码力 | 15 页 | 555.93 KB | 5 月前32024 中国开源开发者报告
读写比”, 也就是每次模型生成的内容可以被用户多次使用,一种模式是内容社区,创作者利用 AI 生成内 容,大量的用户访问这些内容;另一种模式是用户的问题有很高比例是重复的,例如拍照搜题、 生成调研报告等。 总体来说,目前 AI 应用尚处于“iPhone 1”时代,模型能力、应用生态、用户习惯都在快 速进化中。所谓“AI 一天,人间一年”,即使是 AI 专家,也很难跟上所有最新的科研进展。大 胆预言,未来编程只需要狂按 Tab 就够了。Cursor 确实好用,包括新推出的“光标位置预测” 功能。 但是 AI 编程发展没有那么快,在国内生成代码采纳率还比较低,根据《2024 软件研发应 用大模型国内现状调研报告》,多数团队在 10-40%之间,如图 1 所示。 图 1 大模型(LLM)在编程上的应用及其生成代码的采纳率 在 2024 年,我们还看到了“AI 程序员”Devin 的诞生,Devin 能够独立完成复杂的编码和 面提升代码评审的能 力。 有些团队,根据 UI 设计图,让 LLM 自动生成相应的前端代码,大大减少了手动编码的时间, 加快了从设计到实现的流程。 43 / 111 从应用效果看,前面调研的数据可供参考。在国内 AI 编程开展比较好的大厂,超过 80%的 工程师在使用 AI 编程工具完成日常的编程工作,近 30%入库的代码由 AI 生成,生成代码平均 采纳率超过 40%,有些产品线达到0 码力 | 111 页 | 11.44 MB | 8 月前31.3 MOSN 在云原生的探索及实践
网络层扩展思考和选型 02 对应解决方案和实践介绍 03 MOSN 开源进展同步 04 MOSN 云原生演进历程 MOSN 简介 — 演进历程 MOSN 从 Service Mesh 技术调研,到产品孵化,历经重重困难,最终通过双 11 规模化验证。借力开源、反哺开 源,进行 Cloud Native 生态融合,在实践的道路上一步步的走向云原生。 2018年3月 MOSN 诞生 支持 Envoy 和 MOSN 优势 • 增强 Envoy 和 GoLang 社区生态粘性 MOE Envoy 和 GoLong 生态打通 维护成本高、可扩展性弱 MoE 背景介绍 — 方案调研 方案名称 优势 劣势 Lua Extension Lua 编写简单业务处理方便 Lua 脚本语言,开发复杂功能不 方便;支持的库(SDK)相对较 少 WASM Extension 跨语言语言支持 Notes …… CGO 一次调用开销在 0.08 ~ 1.626 us,另 外 CGO 调用开销呈线 性增长;CGO 中增加 Go 自身计算逻辑时, 其 Go 的计算消耗也 呈线性增长 CGO 开销调研 MOE 解决方案及实践介绍 MOE 方案介绍 — 整体架构 proxy_golang API spec proxy_golang_request • params headers body0 码力 | 36 页 | 35.61 MB | 1 年前32020 中国开源年度报告
布了开发者调查报告,旨在从多种维度呈现国内的开源发展情况。今年我们再次启程,结合数 据分析⼿段和调查报告等多种形式,绘制⼀份 2020 年中国开源世界的地图。 这份问卷是每年中国开源年报的重要⼀环,不基于调研的分析报告不过是纸上谈兵。在往年的 基础上,我们参考了其他现存的主流开发者问卷内容,并加⼊了⼀些新的视⻆。基于 2020年 COVID-19 这个不容忽视的⼤背景,这份调查问卷进⼀步将视⻆发散到开源世界的线上协 开源参与者的主⼒依旧是 20-39 岁⼈群,相⽐去年⽐例仍在上升,⽽在开源社区的年龄 分布中,20-30 岁⼈群占据了 64%,说明开发者的年龄仍在趋于年轻化; 相较于 2019 年,今年参与调研的开发者中,还未⼯作的⼈群占了绝⼤部分,从参与者从 事领域和职位分布也可以看出,这些“还未⼯作”⼈群多数指向学⽣群体,这和当前社会普 遍追求更⾼学历深造有关,和本次问卷传播形式有关,但是同时也能说明开源在教育领域 您的⼀⼩步,整个中国开源社区的⼀⼤步。 此报告问卷篇作出贡献的开源社中国开源年度报告⼩组成员:夏⼩雅,宁泽欣;社区合作伙 伴:X-lab,Gitee,微软 Reactor。感谢特邀的开源领域的专家,更要特别感谢积极参与我们 调研的每⼀位朋友。 ⼆、GitHub 数据篇 1、概述 1.1 背景 本部分内容采⽤ GitHub 全域事件⽇志进⾏统计分析(2020 年共计 8.74亿条),相较 2019 年的 5.460 码力 | 46 页 | 4.09 MB | 1 年前3
共 84 条
- 1
- 2
- 3
- 4
- 5
- 6
- 9