Raft在Curve存储中的工程实践
0 码力 | 29 页 | 2.20 MB | 5 月前3Chaos Mesh让应用与混沌在 Kubernetes 上共舞-杨可奥
当前 Chaos Mesh 的 maintainer。在混沌工程的实践和实现上拥有一定经验和见 解。除了 Chaos Mesh 之外还维护有多个受欢迎的开源项目,如 pprof-rs。 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 杨可奥 Chaos Mesh核心开发者 Chaos Mesh 让应用与混沌在 Kubernetes 上共舞 演讲人:杨可奥 PingCAP 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 上的混沌工程方案 —— Chaos Mesh 三、Chaos Mesh 的结构,以 NetworkChaos 为例 四、Chaos Mesh 使用案例 混沌工程的动机 事故,任何时候都可能发生 AWS 事故,任何时候都可能发生 Github 关于混沌,我们能知道很多 我们的软件没有混沌现象! 科学的研究方法 作出假设 ● 进行尝试和实验 ● 观察现象 ● 分析和总结 Chaos Engineering 混沌工程正在受到重视 混沌工程正在受到重视 混沌实验?听上去很简单 混沌实验?听上去很简单 1. 5 分钟入门混沌工程 —— 脚本随机杀进程 2. 10 分钟入门混沌工程 —— 脚本随机杀 Pod 3. … 4. 那网络故障呢?磁盘故障呢?恢复呢?如何控制作用范围? 这是一件复杂的事0 码力 | 30 页 | 1.49 MB | 9 月前314-Chaos Mesh 在网易伏羲私有云自动化故障注入实践-张慧
目录 网易伏羲私有云简介 为什么混沌测试 什么是混沌测试 如何选择混沌测试工具 为什么是 Chaos Mesh Chaos Mesh 在网易伏羲的实践 网易伏羲私有云简介 网易伏羲私有云简介 AI 模型 支撑游戏业务 云游戏 为什么混沌测试 为什么混沌测试 为什么混沌测试 理想下,系统用不 宕机,100%可用 比如机房突然断电 比如机房突然断电 事故突然的到来 为什么混沌测试 通用指标 阶段性进阶衡量 标准 指标 量化 什么是混沌测试 什么是混沌测试 混沌工程旨在将故障扼杀在襁褓之中,也就是在故障造成中断之前将它们识别出来。通过主动制 造故障,测试系统在各种压力下的行为,识别并修复故障问题,避免造成严重后果。 混沌工程将预想的事情和实际发生的事情进行对比,通过“有意识搞破坏”来提升系统稳定性。 统稳定性。 鲁棒性 故障注入 如何选择混沌测试工具 混沌工具 混沌工具 为什么是 Chaos Mesh 为什么是 Chaos Mesh ● PodChaos: kill / fail / container/... ● NetworkChaos: delay / lose / dup / partition / … ● IOChaos: latency0 码力 | 25 页 | 3.33 MB | 6 月前324-云原生中间件之道-高磊
考和指引,助力夯实产业互联网的安全底座。 《趋势》认为,2021年将进一步完善个人信息保护体系,企业对个人信息利用规范化,数字安全合规管理将成为企业的必备能力。与此同时,企业还 应将安全作为“一把手工程”,在部署数字化转型的同时,推进安全前置。 前沿的数字化技术也让产业安全有了更多内涵。5G、AI、隐私计算等技术在构筑数字大楼的同时,不仅带来了全新的安全场景,也成为网络安全攻防 当中的利器;202 可以无视环境随时可以进行,覆盖漏洞类型全面, 可以精确定位到代码段 路径爆炸问题,并一定与实际相符合,误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试,通过模拟业务流量发起请求,进行模糊测试,比如故障注入 或者混沌测试 语言无关性,很高的精确度。 难以覆盖复杂的交互场景,测试过程对业务造成 较大的干扰,会产生大量的报错和脏数据,所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合了上面两种 复杂,因为业务上极其重要的地位,发出现先发 的优势,但是带来了后发的劣势: • 大数据平台为业务的营销、决策等活动进行 数字化支撑,这是新时代数字化的核心平台, 唯有数据才是企业的资产。 • 大数据平台大体分成两层:数据应用和数据 工程化引擎 • 在云原生场景下,希望应用能够适应敏态化 的业务场景,数据应用也不例外,目前都在 进行服务化改造和云原生改造 • 大数据引擎早就上云了(IaaS),但是并未云原 生化。 • 但是大数据引擎平台,架构思路过时、组件0 码力 | 22 页 | 4.39 MB | 6 月前3Curve质量监控与运维 - 网易数帆
测试 混沌测试 (每周一次) CI测试(编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点) 邮件通知 Curve所有代码均在github托管。新 代码需要通过CI测试和code review才 能合入master分支,确保新合入代码 的功能、正确性、规范性等都有基本 保障;而每日运行的dailybuild测试在 CI测试基础上增加了异常自动化测试 和混沌测试,确保master分支代码的 从测试粒度看,测试可以分为单元测试、集成测试、系统测试; 从测试角度看,测试可以分为常规测试、性能测试、异常测试、稳定性测试、混沌测试,等等 单元测试 1300+用例 行覆盖80%+,分支覆盖70%+ 集成测试 Given When Then 设计方法 500+用例 异常测试 40+自动化用例 混沌测试 20轮自动化随机故障注入 12/33单元测试 单元测试是软件开发的过程中最基本的测试, 异常测试,在正常流程中注入一种软硬件异常; 混沌测试,大压力多级故障(随机组合软硬件异常)。 在系统测试过程中,我们尽可能将所有用例自动化,其优点是: 大幅降低了测试回归成本,加快了测试进度; 可以对代码进行足够频繁的测试,有利于提高代码质量; 容易发现隐藏的问题,手工测试无法做到频繁触发 测试用例可以持续积累,成为代码质量的。 目前Curve的 异常测试以及混沌测试 均实现了自动化。 15/33测试用例的编写方法0 码力 | 33 页 | 2.64 MB | 5 月前32024 中国开源开发者报告
团队“出海”,积极融入和参与全球人 工智能生态,勇于在全球市场发声,通过开放协作推动技术边界的不断拓展,共同构建一个更加 包容、多元与可持续发展的人工智能的未来。 Tiezhen 现任 Hugging Face 工程师,曾在 Google Brain 任职。兼具实干精 神与梦想追求,坚信开源是连接全球的纽带,让 AI 的益处普惠大众。 他秉持"高手在民间"的理念,渴望激励更多的开源模型从业者成为行业 的关 如何尽可能降低成本, 28 / 111 比对手坚持得更久一些是确保长期成功的必要条件。现在的宏观环境下,一味靠融资来支撑自己 的高成本支出不是长久之计。 闭源大模型厂商必须维持一定的云资源,工程师资源来支撑小额的开发者调试需求。投入产 出上恐怕是算不过来的。即便闭源厂商愿意持续地补贴开发者,他们最终会发现大模型对开发者 的粘性也非常有限,没比在 C 端用户那边好到哪里去。 大模型这一 模型能力达到门槛,专业模型将带来很高的附加值。 2024 年,专业模型已经在很多领域落地。例如,AI 辅助编程可以提升开发效率一倍以上, 仅用每月数十美元的 API 调用成本,就相当于每月上万美元的工程师。AI 生成图片、播客、直 播等,可以上百倍提升画师、配音员、主播的工作效率。AI 在心理、法律、医疗等领域的咨询 服务可达到初级专业人士水平,每小时收费相比模型成本也高上百倍。AI 虚拟外教已经可以媲0 码力 | 111 页 | 11.44 MB | 8 月前3清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单
数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式,采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式,实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析,常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘,常用 故事化数据呈现:借助o3mini将数据以 故事的形式呈现,增强数据的可读性和吸引力, 帮助公众理解复杂的科学和技术知识。 • 复杂数据模式识别:借助o3mini高效分 析复杂数据,帮助科学研究和工程领域发现 模式和规律,如天文学中的星系演化或地质 学中的地震数据分析。 • 多源数据融合分析:在智能交通和城市 规划中,o3mini有助于将不同来源的数据 (如交通流量、气象数据等)进行融合分析, 97.3%,表现与 OpenAI-o1-1217 相当,远超其他模型。 • 代码生成能力达专家级水平:DeepSeek R1在编程任务中,Elo评分达 2029,超越 96.3% 的人类参赛者;在工程任务中DeepSeek-R1表现略优 于 DeepSeek V3,这对开发人员在实际任务中有潜在帮助。 知识类任务表现 其他任务表现 • 在创意写作、问答、编辑、摘要等任务中,DeepSeek0 码力 | 85 页 | 8.31 MB | 7 月前3PingCAP TiDB&TiKV Introduction OLTP
Go 语言 社区知名技术领袖之一 黄东旭 | CTO Co-Founder 前微软亚洲研究院 / 网易有道 / 豌豆荚 全栈工程师,架构师, Codis 共同作者, Open Source Hacker,业界知名程序员 崔秋 | Co-Founder 前搜狗 / 豌豆荚资深后端工程师 王鉴 (John Wang) 前 LinkedIn 搜索架构师 / Twitter 早期 员工, Tech Lead,分布式搜索数据库 以此为基础打造了Hadoop F1 Data Flow Spanner Colossus Google 内部新一代分布式处理框架,于12/13年发表 相关论文,奠定下一代分布式 NewSQL的理论和工程 实践基石。PingCAP以此为基础打造了TiDB & TiKV HBase Map Reduce HDFS TiDB TiKV NewSQL | TiDB Google Spanner / F1 3200+ Commits / 4000+ stars / 44 contributors / 2 Partners 华为 全职工程师(6人团队)深度参与,将会在手机云平台( 类似 Apple iCloud 业务)和华为商城(VMall)等大型项目落地 京东 全职工程师(10人团队)深度参与,将会在京 东云平台落地,替 换内部 Oracle,继阿里去IOE之后又一重大标志性事件 百度 已经开始整合0 码力 | 21 页 | 613.54 KB | 6 月前3基于 Kubernetes 构建标准可扩展的云原生应用管理平台-孙健波、周正喜
Kubernetes 构建标准可扩展的云原生应用管理平台 2 3 有奖品? 我的工作内容? • 构建云原生应用管理平台 @ 阿里巴巴 Kubernetes 工程师 PaaS 工程师 基础设施运维工程师 … YAML 工程师 我们是如何构建的? PaaS Serverless Operator Platform 基于 Kubernetes 我们构建了多种多样的应用管理平台: 电商0 码力 | 27 页 | 3.60 MB | 9 月前3DeepSeek从入门到精通(20250204)
: 结构类元素用于定义生成内容的组织形式和呈现方式, 决定了AI输出的结构、格式和风格。 控制类元素用于管理和引导AI的生成过程,确保输出 符合预期并能够进行必要的调整,是实现高级提示语 工程的重要工具。 提示语的DNA:解构强大提示语的基本元素 提示语元素组合矩阵 提示语元素协同效应理论的核心观点包括: ▪ 互补增强:某些元素组合可以互相弥补不足,产生1+1>2的效果。 ▪ 整合所有输出,形成最终成果 I n s t r u c t i o n ( 指 令 ) 给出具体的指示 提供背景信息和任务概述 任务分解的提示语链设计步骤 任务分解的概念源于问题解决理论和系统工程学。将任务分解应用于提示语设计,实际上是在模拟人类处理 复杂问题的方式。这种方法主要基于分而治之原则、层级结构理论以及认知负荷理论作为其理论基础。 设计基于任务分解的提示语链涉及以下步骤: 明确总体 6. 动态反馈与迭代优化 • 在收到回答后,指出模型的误差 或不足,并要求修正 • 让模型根据前一轮的输出进行自 我改进 • 请求模型总结多轮对话中的关键 点,确保连贯性和准确性 提示词工程:精准指引 效能增益0 码力 | 104 页 | 5.37 MB | 7 月前3
共 91 条
- 1
- 2
- 3
- 4
- 5
- 6
- 10