测试模块在一定规模下是否能够正常工作，是否 会出现异常或者崩溃， 14/33系统测试 系统测试是对整个系统的测试，将硬件、软件、操作人员看作一个整体，检验它是否有不符 合系统说明书的地方。它是一个黑盒测试，可以发现系统分析和设计中的错误。 Curve的系统测试一般是由QA来完成，包含：  常规测试，主要是新增功能的手工测试；  性能测试，将性能数据与基准对照，确定性能没有出现预期外的下降或提升；  稳定性测试，在正常压力下运行足够长的时间； 异常测试以及混沌测试 均实现了自动化。 15/33测试用例的编写方法 很多情况下，待测试场景会包含多个变化的参数，每个参数有若干个典 型值；如果将用例覆盖所有可能的情况，总用例数将达到不可接受的程 度。因此，需要通过组合测试的方法，尽量用较少的用例数量覆盖绝大 多数情况：  两因素组合测试 通过测试集覆盖任意两个变量的所有取值组合。理论上两因素组合测 试最多可发现95%的缺陷，平均缺陷检出率也达到了86%，在用例数量 指标 的采集与存储。  Daily reporter——python脚本，定时从 Grafana获取指定集群的图表，生成集群监控 日报，并通过邮件发送。  Grafana——开源的度量分析和可视化工具， curve利用它进行数据可视化展示。 20/33监控指标（metric）的生成 Curve使用brpc内置的bvar计数器类库，来生成监控指标，其特点是:  thread local存储，减少了cache

化，fio性能测试的结果如下表格： Nbd 10盘： Nbd单盘：新版本ChunkServer性能优化 单深度fio测试chunkserver内部时延统计 Raft 日志落盘延迟 优化前性能分析：braft日志落盘时延占据了ChunkServer处理时延的50%以上，因此推断braft日志落盘存在瓶颈 ChunkServer性能优化主要是braft日志落盘优化，包括三个方面： 1、追加写改为覆盖写