t u p 第 一 期 · 上 海 站 目录 一、混沌工程的动机 二、Kubernetes 上的混沌工程方案 —— Chaos Mesh 三、Chaos Mesh 的结构，以 NetworkChaos 为例 四、Chaos Mesh 使用案例 混沌工程的动机 事故，任何时候都可能发生 AWS 事故，任何时候都可能发生 Github 关于混沌，我们能知道很多 我们的软件没有混沌现象 友善的接口 ● 实验是作为 Kubernetes Custom Resource 管理的 友善的接口 强大的工具箱 ● PodChaos: kill / fail / ... ● NetworkChaos: delay / lose / dup / partition / … ● IOChaos: latency / fault / … ● TimeChaos: clock skew 在测试环境、测试集群中使用 " ● 在 CI 中使用 ○ 使用预先定义的 Github Actions ○ 使用 Kubernetes Client 创建实验 Chaos Mesh 的结构 以 NetworkChaos 为例 ● Controller 向 chaos-daemon 发送请求 ● [Pod network namespace] 设置 ipset 和 iptables ● [Pod network

status Components Controller Daemon Dashboard Dns Server Pods Status Event Logs CRDs PodChaos NetworkChaos IOChaos XXXChaos PodXXXChaos Status Event Target Pods Status Logs Event Others Mounts Processes status Components Controller Daemon Dashboard Dns Server Pods Status Event Logs CRDs PodChaos NetworkChaos IOChaos XXXChaos PodXXXChaos Status Event Target Pods Status Logs Event k8s 不可直接查询的状态 Chaos server 端通过 GraphQL API 将各种状态关联起来，便于查询。 Controller Daemon Dashboard Dns Server Pods PodChaos NetworkChaos IOChaos XXXChaos PodXXXChaos Pods Query Client Client 主要使用 go-graphql-client 实现查询。这是一个基于反射的

Chaos Engineering Platforms Apply using kubectl apiVersion: chaos-mesh.org/v1alpha1 kind: NetworkChaos metadata: name: network namespace: chaos-testing spec: action: partition mode: one selector: labelSelectors: duration: "10s" scheduler: cron: "@every 15s" ● kubectl apply -f ./network.yaml ● kubectl describe NetworkChaos network Apply using Dashboard architecture Chaos Mesh community Powered

混沌工具 为什么是 Chaos Mesh 为什么是 Chaos Mesh ● PodChaos: kill / fail / container/... ● NetworkChaos: delay / lose / dup / partition / … ● IOChaos: latency / fault / … ● TimeChaos: clock skew ●