practices to operations • Infrastructure as code • Ops teams embracing source control (git) • Automated testing • Repeatable/consistent • CI/CD • This has worked well for App Dev. Now time for AI/ML • But, must Systems • NFS • HDFS • … Classic DevOps solutions: • Containers • CI/CD • Autoscaling • A/B testing and canary release of Models • Comparing Production accuracy vs expected accuracy when possible

Failure） ● 观察和检验 ○ QPS 下降之后却再也没有恢复到实验前的水平 ○ 我们找到了一个 Bug ！ 以 FUXI-Lab 为例 ● Testing components(redis rabbitmq scheduler) ● Testing bugs 3+ 20 Welcome to a “bug-free” world! Without worrying about

屏幕 阅读器和其他辅助技术所需的全量语义元素。 首先，在测试验证元素时，通过 ARIA 角色或者元素的其它语义化属性查找元素，而不采用元素的 test id 或 class 属性。像 Testing Library 的一些测试库甚至已经在文档中推荐了这一实践。其次，不要仅仅测试点击交互，还 要考虑不能使用鼠标或看不到屏幕的人，并考虑增加针对键盘和其他交互方式的额外测试。在我们的团队中，上 提供了许多用于单元测试、数据质量、数据可观测性等软件包的社区。这些包中尤为值得注意的是用于监测数 据质量的 dbt-expectations 和用于构建数据转换的单元测试的 dbt-unit-testing。dbt 很好地集成了各种云数 据仓库、数据湖和数据库，包括 Snowflake，BigQuery，Redshift，Databricks 和 Postgres。当需要处理结构 化数据并且能使用

Production environment: • Dozens of Cluster • 5k+ Nodes / Cluster • 10k+ Nodes / largest Cluster • Testing environment • Hundreds of Cluster for CI/CD • 500+ Nodes / Cluster Background: Operation Requirements

hosting related architectural planning and discussion. Associated activities related to development, testing, and documentation are tracked and reported by the SIG as well as architectural planning and discussion

Healthchecks План работ ● Наследование Templates ● Хранить историю изменений CRD ● Автоматизация ‘canary testing’ ● Интеграция с ZooKeeper operator ● Сложные health checks ● Jobs: ● Replica re-provisioning ● Backups

集群节点（Collector Pod + DaemonSet/One Shot） • 需要特定版本来对接兼容的 K8s 版本 问题检测 • Kubernetes Conformance-testing（K8s 兼容性检查） • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描

thub.com/gotomicro/go-engineering docker测试玩法：https://www.ardanlabs.com/blog/2019/03/integration-testing-in-go-executing-tests-with- docker.html 提问