当前 Chaos Mesh 的 maintainer。在混沌工程的实践和实现上拥有一定经验和见 解。除了 Chaos Mesh 之外还维护有多个受欢迎的开源项目，如 pprof-rs。 云 原 生 社 区 M e e t u p 第 一 期 · 上 海 站 杨可奥 Chaos Mesh核心开发者 Chaos Mesh 让应用与混沌在 Kubernetes 上共舞 演讲人：杨可奥 PingCAP 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 上的混沌工程方案 —— Chaos Mesh 三、Chaos Mesh 的结构，以 NetworkChaos 为例 四、Chaos Mesh 使用案例 混沌工程的动机 事故，任何时候都可能发生 AWS 事故，任何时候都可能发生 Github 关于混沌，我们能知道很多 我们的软件没有混沌现象! 科学的研究方法 ● 作出假设 ● 进行尝试和实验 ● 观察现象 ● 分析和总结 Chaos Engineering 混沌工程正在受到重视 混沌工程正在受到重视 混沌实验？听上去很简单 混沌实验？听上去很简单 1. 5 分钟入门混沌工程 —— 脚本随机杀进程 2. 10 分钟入门混沌工程 —— 脚本随机杀 Pod 3. … 4. 那网络故障呢？磁盘故障呢？恢复呢？如何控制作用范围？ 这是一件复杂的事

目录  网易伏羲私有云简介  为什么混沌测试  什么是混沌测试  如何选择混沌测试工具  为什么是 Chaos Mesh  Chaos Mesh 在网易伏羲的实践 网易伏羲私有云简介 网易伏羲私有云简介 AI 模型 支撑游戏业务 云游戏 为什么混沌测试 为什么混沌测试 为什么混沌测试 理想下，系统用不 宕机，100%可用 比如机房突然断电 比如机房突然断电 事故突然的到来 为什么混沌测试 通用指标 阶段性进阶衡量 标准 指标 量化 什么是混沌测试 什么是混沌测试 混沌工程旨在将故障扼杀在襁褓之中，也就是在故障造成中断之前将它们识别出来。通过主动制 造故障，测试系统在各种压力下的行为，识别并修复故障问题，避免造成严重后果。 混沌工程将预想的事情和实际发生的事情进行对比，通过“有意识搞破坏”来提升系统稳定性。 稳定性。 鲁棒性 故障注入 如何选择混沌测试工具 混沌工具 混沌工具 为什么是 Chaos Mesh 为什么是 Chaos Mesh ● PodChaos: kill / fail / container/... ● NetworkChaos: delay / lose / dup / partition / … ● IOChaos: latency

质量——向用户交付稳定可靠的软件；  监控——直观地展示Curve运行状态；  运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求，必须将质量控制贯穿于设计、开发到测试的整个流程中。 设计  设计流程  文档规范 开发  编码规范与提交流程  版本管理 测试  测试方法论  CI与异常测试 6/33设计流程 Curve团队采用敏捷开发模式，负责人在制定迭代计划时，确认哪些任务需要设计 文档：  小需 Dailybuild测试 提交issue 开发设计 提交PR review +1 CI测试（编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点） 合入master 分支 代码提交流程 异常自动化 测试 混沌测试 （每周一次） CI测试（编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点） 邮件通知 Curve所有代码均在github托管。新 代码需要通过CI测试和code

SAST(静态应用程序 安全测试) 白盒测试，通过污点跟踪对源代码或者二进制程序（也包括Docker镜像等） 进行静态扫描，尽可能前置，在IDE编写代码或者提交代码时进行，将极 大优化整体效率和成本 可以无视环境随时可以进行，覆盖漏洞类型全面， 可以精确定位到代码段 路径爆炸问题，并一定与实际相符合，误报率较 高。 DAST(动态安全应用 程序安全测试) 黑盒测试，通过模拟业务流量发起请求，进行模糊测试，比如故障注入 或者混沌测试 语言无关性，很高的精确度。 难以覆盖复杂的交互场景，测试过程对业务造成 较大的干扰，会产生大量的报错和脏数据，所以 建议在业务低峰时进行。 IAST(交互式应用程序 安全测试) 结合了上面两种的优点并克服其缺点，将SAST和DAST相结合，通过插桩 等手段在运行时进行污点跟踪，进而精准的发现问题。是DevSecOps的一 种推荐方式。 如果在被动模式下运行IAST，那么开发测试过程 中就可以完成安全扫描，不会像DAST一样导致业 务报警进而干扰测试，同时由于污点跟踪测试模 式，IAST可以像SAST一样精准的发现问题点 SCA（软件成分分析） 有大量的重复组件或者三方库的依赖，导致安全漏洞被传递或者扩散， SCA就是解决此类问题的办法，通过自动化分析组件版本并与漏洞库相 比较，快速发现问题组件，借助积累的供应链资产，可以在快速定位的 同时，推动业务快速修复。 安全左移的一种，在上线前发现依赖组件的安全

程序设计语言 简体中文版 11. 编写自动化测试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 11.1. 如何编写测试 . . . . . . . . . . . . . . . 220 11.2. 控制测试如何运行 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 11.3. 测试的组织结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 12.4. 采用测试驱动开发完善库的功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1501 26.7 doctest --- 测试交互式的 Python 示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1502 26.7.1 简单用法：检查 Docstrings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1523 26.8 unittest --- 单元测试框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1524 26.8.1 基本实例 . . . . . . . . . . . . . . . . . 1525 26.8.3 探索性测试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1527 26.8.4 组织你的测试代码 . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1405 26.7 doctest --- 测试交互式的 Python 示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1405 26.7.1 简单用法：检查 Docstrings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1425 26.8 unittest --- 单元测试框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1426 26.8.1 基本实例 . . . . . . . . . . . . . . . . . . . . 1427 26.8.3 探索性测试 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1428 26.8.4 组织你的测试代码 . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . 1462 26.3 doctest --- 测试交互式的 Python 示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1463 26.4 unittest --- 单元测试框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . 1573 26.8 test --- Python 回归测试包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1578 26.9 test.support --- 针对 Python 测试套件的工具 . . . . . . . . . . . . . . . . . . . . . . . . . . 1581 26.10 test.support.script_helper --- 用于 Python 执行测试工具 . . . . . . . . . . . . . . . . 1593 27 调试和分析 1595 27.1 审计事件表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . 1365 26.3 doctest --- 测试交互式的 Python 示例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1366 26.4 unittest --- 单元测试框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1469 26.8 test --- Python 回归测试包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1474 26.9 test.support --- 针对 Python 测试套件的工具 . . . . . . . . . . . . . . . . . . . . . . . . 1476 26.10 test.support.script_helper --- 用于 Python 执行测试工具 . . . . . . . . . . . . . . 1488 27 调试和分析 1491 27.1 审计事件表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .