2024 中国开源开发者报告
编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化:构建未来 推理中心化:构建未来 AI 基础设施的关键 Part 1:中国开源开发者生态数据 04 | Gitee 数据篇 Part 3:国内 GenAI 生态高亮瞬间 104 | 中国 GenAI 消费应用人气榜 Top10 15 | OSS Compass Insight 106 | AI 创新应用开发大赛获奖作品 局长,OSCHINA 副主编 肖滢,OSCHINA 副主编 李泽辰,Gitee 设计:张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析,勾勒 2024 年中国开源开发者的整体画像趋势轮廓,主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度,以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源:2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111 开发者是社区的力量源泉0 码力 | 111 页 | 11.44 MB | 8 月前3破解 Kubernetes 应用开发困局-王炜
Kubernetes 应用开发困局 实时热加载和一键 Debug 2021.08.05 王炜 2 腾讯云 CODING DevOps 高级架构师 CNCF 大使 Nocalhost 项目负责人 自我介绍 1. K8s 环境开发困局 2. 主流云原生开发方式 3. 热加载原理 4. 开发和调试演示 5. 开源共建 目录 K8s 环境开发困局 01 开发举步维艰 5 微服务-Docker Docker-Kubernetes K8s 环境的开发困局 容器越来越多,服务编排、发现、稳定性监控、自愈等成为新的挑战。 Kubernetes 提供容器编排的解决方案。 6 面向运维 •开发难 概念繁多,声明式定义学习成本高。 •调试难 无法像本地一样调试,开发效率低。 完全面向运维提供能力,对开发增加了巨大的负担。 云原生环境下的学习成本,招聘成本,用人成本急剧上升。 7 云原生开发技能广度要求急剧提升 8 云原生开发工具依然缺失 主流云原生开发方式 02 现状 1 0 全手工流程 编码后,手动构建镜像、推送到镜像 仓库、修改工作负载镜像版本,调度 10 分钟/次 自动化 CI/CD 流程 编码后,推送到代码仓库,自动触发 CI/CD 流程,等待生效。 5 分钟/次 Minikube + Telepresence Minikube 拉起本地 K8s 开发环境, Telepresence0 码力 | 20 页 | 3.58 MB | 9 月前316-Nocalhost重新定义云原生开发环境-王炜
Nocalhost - 重新定义云原⽣开发环境.md 2021/1/20 1 / 7 Nocalhost - 重新定义云原⽣开发环境 前⾔ 随着业务的快速发展,技术部⻔的组织架构在横向及纵向不断扩⼤和调整,与此同时,企业的⽣产资料:应 ⽤系统,也变得越来越庞⼤。为了让应⽤系统适配企业组织架构的调整,梳理组织架构对于应⽤权责的边 界,⼤部分组织会选择使⽤“微服务”架构来对应⽤系统进⾏横向拆分,使得应⽤系统的维护边界适配组织架 “微服务”带来便利的同时,对开发⼈员⽽⾔,还带来了额外的挑战:如何快速启动完整的开发环境?开发的 需求依赖于其他同事怎么联调?如何快速调试这些微服务? ⽽对于管理⼈员来说,也同样带来了⼀系列的挑战:如何管理开发⼈员的开发环境?如何让新⼊职的同事快 速进⾏开发? 试想⼀下,要开发由 200 个“微服务”组成的云原⽣应⽤,会遇到哪些困难呢? Localhost 时代 在单体应⽤的时代,对于开发者来说是极为友好的 ,�开发者使⽤本机运⾏应⽤,修改代码后实时⽣效,通过 浏览器访问 Localhost 实时查看代码效果。 单体应⽤和“微服务”应⽤不同,单体应⽤是 “ALL-IN-ONE” 组织⽅式,所有的调⽤关系仅限于在⾃身的类和函 数,应⽤对硬件的要求⼀般也不会太⾼。 ⽽开发“微服务”应⽤则⼤不相同,由于相互间的依赖关系,当需要开发某⼀个功能或微服务时,不得不将所 有依赖的服务都启动起来。随着微服务数量的增0 码力 | 7 页 | 7.20 MB | 5 月前3廖雪峰JavaScript教程
安装Node.js和npm 9.2 第一个Node程序 9.3 模块 9.4 基本模块 9.4.1 fs 9.4.2 stream 9.4.3 http 9.4.4 buffer 9.5 Web开发 9.5.1 koa 9.5.2 mysql 9.5.3 swig 9.6 自动化工具 10 期末总结 - 3 - 本文档使用 书栈(BookStack.CN) 构建 致谢 当前文档 移动应用的兴起,没有人用Flash开发手机 App,所以它目前已经边缘化了。相反,随着HTML5在PC和移动端越来越流行,JavaScript变得更加 重要了。并且,新兴的Node.js把JavaScript引入到了服务器端,JavaScript已经变成了全能型选 手。 JavaScript一度被认为是一种玩具编程语言,它有很多缺陷,所以不被大多数后端开发人员所重视。 很多人认为,写Ja 简单,并且JavaScript只是为了在网页上添加一点交互和动画效 果。 但这是完全错误的理解。JavaScript确实很容易上手,但其精髓却不为大多数开发人员所熟知。编写 高质量的JavaScript代码更是难上加难。 一个合格的开发人员应该精通JavaScript和其他编程语言。如果你已经掌握了其他编程语言,或者你 还什么都不会,请立刻开始学习JavaScript,不要被Web时代所淘汰。0 码力 | 264 页 | 2.81 MB | 10 月前3Nacos架构&原理
阿里云开发者“藏经阁” 海量电子手册免费下载 特别鸣谢: 目录 作者 6 推荐序 7 前⾔ 9 序言 9 简介 13 Nacos 简介 13 Nacos 架构 17 Nacos 总体设计 17 Nacos 架构 17 Nacos 配置模型 21 Nacos 内核设计 28 Nacos ⼀致性协议 28 Nacos 自研 Distro 协议 38 Nacos 通信通道 年的阿里五彩石项目,自主研发完全可控,经历十多年双 11 洪峰考验,沉淀了高性能、 高可用、可扩展的核心能力,2018 年开源后引起了开发者的广泛关注和大量使用。本书也将介绍 Nacos 偏 AP 分布式系统的设计、全异步事件驱动的高性能架构和面向失败设计的高可用设计理念 等。相信开发者阅读后不仅可以更深入了解 Nacos,也有助于提高分布式系统的设计研发能力。 阿里巴巴中间件负责人 - 胡伟琪(白慕) 有非常出色的积累,2018 年初中间件团队决定把这⼀领域的技术进行重新梳理并开源,这就是本书 介绍的主角 Nacos,经过三年时间的发展,Nacos 已经被大量开发者和企业客户用于生产环境,本 书详尽介绍了 Nacos 的架构设计、功能使用和最佳实践,推荐分布式应用的开发人员、运维人员和 对该领域感兴趣的技术爱好者阅读。 推荐序 < 8 Facebook 工程师 & CNCF 前 TOC 成员 - 李响0 码力 | 326 页 | 12.83 MB | 9 月前3普通人学AI指南
8B 和 70B 模型。 图 2,时间线主要根据技术论文的发布日期(例如提交至 arXiv 的日期)来 确定大型语言模型(大小超过 10B)的发展历程。如果没有相应的论文,我们 将模型的日期设定为其公开发布或宣布的最早时间。我们用黄色标记那些公开 可用的模型检查点。由于空间限制,我们只包括那些公开报道评估结果的大型 语言模型。 Figure 2: 各个大型语言模型发布时间线 5 1.4 基础概念 工具,分别包括:问答,图像,视频,AI 编程,AI 提 示词和 AI 大模型,一共梳理挑选共计 38 个 AI 工具,其中很多都是开源! 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型,它基于 GPT(Generative Pre-trained Transformer)架构。这种模型通过分析大量的文本数据来学习语 言结构和信息,使其能够生成连贯的文本、回答问题、撰写文章、进行对话等。 场景中提 供辅助,包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型,它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问(Qwen)是阿里云开发的一系列预训练的大型语言模型,用于聊天、 生成内容、提取信息、总结、翻译、编码、解决数学问题等多种任务。这些模型 在多种语言数据上0 码力 | 42 页 | 8.39 MB | 7 月前3探讨和实践基于Istio的微服务治理事件监控
9年的工作经验和5年的云计算领域工作经验,带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发。目前致力 于公司基于Istio的微服务平台打造。 来自于浙江大学SEL实验室目录 CONTENTS 微服务平台的监控演进 Mixer组件的功能介绍 基于Mixer的开发流程和实例微服务平台的监控演进典型的运维场景 传统的监控面临容器化和微服务化的困境 • Quota:访问次数 • Report: 日志。Mixer的二次开发流程Mixer插件工作模型 上述的过程中,Envoy所做的数据收集、上传是自动完成的,而Mixer生成模版实例则 可以通过配置来完成。因此,所谓的Mixer插件实际上就是Adapter,开发Mixer插件 也就是开发Adapter。两种开发模式 几种开发模式,以及写一下两种方式的区别 Compiled In Adapter Mixer通过通过rpc调用,将属性与日志发送给Adapter。基于Mixer的二次开发的流程 • 编写grpc服务端程序,接收来自mixer的数据,并实现自身业务逻辑 • 编写handler、instance、rule配置文件 • 编译打包adapter,上传至docker仓库 • 编写k8s的deployment和service配置文件 • 部署应用基于Mixer的二次开发Hanlder Handlers 。为适配器提供配置。例如,到后端的0 码力 | 29 页 | 8.37 MB | 5 月前3CurveFS方案设计
可行性分析 方案对比 对比结论 架构设计 卷和文件系统 元数据架构 文件系统快照 方案一:文件/目录级别快照 方案二:文件系统快照 关键点 元数据设计 数据结构 索引设计 文件空间管理 开发计划及安排 背景 为更好的支持云原生的场景,Curve需要支持高性能通用文件系统,其中高性能主要是适配云原生数据库的场景。当前Curve是实现了块存储,向上提供块设备服务,CurveFS会基于此实现。第一阶段的目标是实现 netease.com/team/km_curve/article/27909 性能对比 并对以上文件系统在相同环境进行了元数据节点性能测试: 。测试结果c开发的moosefs和fastcfs元数据性能远优于go开发的chubaofs和c开发的cephfs,理论上分析这个结果是合理的,分布式的元数据设 调研测试 计会涉及到多次rpc的交互。这里需要确认的一点是:我们需要怎样的元数据节点的性能? namespace 方式,namespace 已经实现了 fs 元数据管理的雏形,具备了基本的元数据管理功能。(当时为什么要设计为 namespace 的管理形式?留有租户这个概念),直接基于 namespace 开发: a. 功能 软/硬链接:目前是都不支持的。软链接可以通过标识文件类型解决;由于 prefix + parentid + filename 作为 key , filename 直接和 fileInfo0 码力 | 14 页 | 619.32 KB | 5 月前3阮一峰 JavaScript 教程
广泛的使用领域 易学性 强大的性能 开放性 社区支持和就业机会 实验环境 JavaScript 是一种轻量级的脚本语言。所谓“脚本语言”(script language),指的是它不具备开发操作系统的能力,而是只用来编写 控制其他大型应用程序(比如浏览器)的“脚本”。 JavaScript 也是一种嵌入式(embedded)语言。它本身提供的核 心语法不算很多,只能用来做一些数学和逻辑运算。JavaScript 如果宿主环境是服务器,则会提供各种操作系统的 API,比如文件操 作 API、网络通信 API等等。这些你都可以在 Node 环境中找到。 本书主要介绍 JavaScript 核心语法和浏览器网页开发的基本知识, 不涉及 Node。全书可以分成以下四大部分。 基本语法 标准库 浏览器 API DOM JavaScript 语言有多个版本。本书的内容主要基于 ECMAScript 5 6入门》。 JavaScript 语言有一些显著特点,使得它非常值得学习。它既适合 作为学习编程的入门语言,也适合当作日常开发的工作语言。它是目前 最有希望、前途最光明的计算机语言之一。 JavaScript 的发明目的,就是作为浏览器的内置脚本语言,为网页 开发者提供操控浏览器的能力。它是目前唯一一种通用的浏览器脚本语 言,所有浏览器都支持。它可以让网页呈现各种特殊效果,为用户提供0 码力 | 540 页 | 3.32 MB | 10 月前3人工智能安全治理框架 1.0
………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 ……………………… 14 6 应用场景,提出通过安全软件开发、数据质量提升、安全建设运维、测评监测 加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性- 3 - 人工智能安全治理框架 的措施。 2.3 综合治理措施方面。明确技术研发机构、服务提供者、用户、政府 部门、行业协会、社会组织等各方发现、防范、应对人工智能安全风险的措施 手段,推动各方协同共治。 2.4 安全开发应用指引方面。明确模型算法研发者、服务提供者、重点 安全开发应用指引方面。明确模型算法研发者、服务提供者、重点 领域用户和社会公众用户,开发应用人工智能技术的若干安全指导规范。 3. 人工智能安全风险分类 人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期 各环节都面临安全风险,既面临自身技术缺陷、不足带来的风险,也面临不当 使用、滥用甚至恶意利用带来的安全风险。 3.1 人工智能内生安全风险 3.1.1 模型算法安全风险 (a)可解释性差的风险。以深度学习为代表的人工智能算法内部运行逻0 码力 | 20 页 | 3.79 MB | 28 天前3
共 138 条
- 1
- 2
- 3
- 4
- 5
- 6
- 14