智能运维系统：机器学习+业务运维，2017年8月-至今 SPEAKER 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 智能运维（AIOps） 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 • 关联事件分析 • 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 单维时间序列分析 海量时间序列 业务场景复杂 规则配置繁琐 1 2 3 时间序列异常检测 如何找到通用的解决方案？ 单维时间序列分析 规则类告警策略 最大值告警 最小值告警 波动率告警 单维时间序列分析 无监督异常检测算法 （自编码器） （自编码器） 原始数据 生成数据 单维时间序列分析 无监督异常检测算法 （N-Sigma） 单维时间序列分析 有监督异常检测算法 （特征工程） 时间序列的统计特征 • 最大值，最小值，值域 • 均值，中位数 • 方差，偏度，峰度 • 同比，环比，周期性 • 自相关系数，变异系数 时间序列的拟合特征 • 移动平均算法 • 带权重的移动平均算法 • 指数移动平均算法

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1718 9 时间段语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 使用宏可以使通知变得有意义和有用 • 自动化操作包括执行远程命令 实时图形 • 采集到的监控项值可以使用内置的绘图功能立即绘图 网络监控功能 • Zabbix 可以跟踪网站上的模拟鼠标点击路径并检查功能和响应时间 广泛的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 受监控资源的高级（业务）视图 历史数据存储 • ，该参数允许通过引入 sum、min、max、avg 和 count 等函数来聚合潜在的多个匹配行的数据。 函数 Prometheus 直方图的函数 在 Zabbix 中收集Prometheus 指标 已经有一段时间了，但有些指标很难使用。具体来说，直方图类型的指标可以在 Zabbix 中呈现为具 有相同键值名称但参数不同的多个监控项。然而，即使这些监控项在逻辑上相关并代表相同的数据，如果没有专门的功能，很难分析收集

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.1.13 动手时间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 一组用户的权限（组） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2.6 时间戳 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 9.3.4 定制时间和日期的显示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 9

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 884 13 时间段选择器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1859 9 时间段语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 使用宏可以使通知变得有意义和友好 • 自动化操作包括执行远程命令 实时图形 • 采集到的监控项值可以使用内置的绘图功能立即图形化 网络监控功能 • Zabbix 可以跟踪网站上的模拟鼠标点击的路径并检查功能和响应时间 丰富的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 被监控资源的高级（业务）视图 历史数据存储 •

arpd 收集免费ARP信息 arping 通过发送ARP协议报文测试网络 arptables 管理ARP包过滤规则表 arpwatch 监听网络上ARP的记录 as 汇编语言编译器 at 在指定时间执行一个任务 atop 监控Linux系统资源与进程的工具 atq 列出当前用户的at任务列表 atrm 删除待执行任务队列中的指定任务 awk 文本和数据进行处理的编程语言 axel 多线程下载工具 把根目录换成指定的目的目录 chsh 用来更换登录系统时使用的shell cksum 检查文件的CRC是否正确 clear 清除当前屏幕终端上的任何信息 clock 用于调整 RTC 时间 clockdiff 检测两台linux主机的时间差 cmp 比较两个文件是否有差异 - 3 - 本文档使用 书栈网 · BookStack.CN 构建 col 过滤控制字符 colrm 删除文件中的指定列 comm cupsdisable 停止指定的打印机 cupsenable 启动指定的打印机 curl 利用URL规则在命令行下工作的文件传输工具 cut 连接文件并打印到标准输出设备上 D date 显示或设置系统时间与日期 dd 复制文件并对原文件的内容进行转换和格式化处理 declare 声明变量，设置或显示变量的值和属性 depmod 分析可载入模块的相依性 df 显示磁盘的相关信息 dhclient

客户端质量量 • ⽤用户端⽹网络质量量 • 劫持情况 • 崩溃&卡顿 • 返回码 • 响应时间 • 错误率 服务端监控 ⽤用户端监控 如何推进？ 服务端监控 场景 分析监控场景对应监控⼿手段 类型 metric类型 ⽇日志类型 ⾃自定义类型 ⼿手段 时间序列列数据 ⽇日志处理理流 ⾃自研 ⽤用户端监控 apm ⾃自研 客户端 播放器器 如何推进？ 如何推进？ 服务端监控 场景 分析监控场景对应监控⼿手段 类型 metric类型 ⽇日志类型 ⾃自定义类型 ⼿手段 时间序列列数据 ⽇日志处理理流 ⾃自研 ⽤用户端监控 apm ⾃自研 客户端 播放器器 metric⽅方案选型 • 能覆盖⼤大部分监控场景 • 固定⼏几种数据类型 ✦ Counter ✦ Gauge ✦ 等.. • 时序数据 时序数据 ✦ 具有统计特性 ✦ 具有规律律性 metric数据特征 选型原则 • 基于开源⽅方案，⼆二次开发 • 具备现代时间序列列数据库的特性 • 活跃项⽬目,具有成熟的⽣生态环境 结论 • prometheus • ⽀支持任意维度label • cncf基⾦金金会 metric • 40w+/s的指标采集 • 10k+ 监控⽬目标 • 10+ prometheus节点

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 7 设定时间段 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 调试等级 4 时，在服务器/代理日志中出现”Trapper got [] len 0” 信息，- 这是什么? A: 很有可能是前端，连接检查服务器是否仍在运行。 10. Q: 我的系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决? A: 清除数据库中的字段 hosts.disable_until*, drules.nextcheck, httptest.nextcheck 值，并重启服务器/代理。 日志文件中, system -写入系统日志, console - 控制台输出。 Zabbix 3.0.0 后支持该参数。 LogSlowQueries no 0-3600000 0 数据库查询时间，大于该时间 会记入日志 (毫秒)。 0 - 不记录慢查询日志。 DebugLevel=3 时该选项可用. Zabbix 1.8.2 支持该参数。 PidFile no /tmp/zabbix_proxy

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 9 时间段配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决? A: 清除数据库中的字段 hosts.disable_until*, drules.nextcheck, httptest.nextcheck 的值，并重启 不会删除任何 Elasticsearch 中的数据 Note: Housekeeper is not deleting any data from Elasticsearch. 历史数据存储于多个基于时间的索引 Storing history data in multiple date-based indices 本节介绍使用 pipeline 和 ingest 节点所需的其他配置步骤。This

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 9 时间段配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决? A: 清除数据库中的字段 hosts.disable_until*, drules.nextcheck, httptest.nextcheck 的值，并重启 不会删除任何 Elasticsearch 中的数据 Note: Housekeeper is not deleting any data from Elasticsearch. 历史数据存储于多个基于时间的索引 Storing history data in multiple date-based indices 本节介绍使用 pipeline 和 ingest 节点所需的其他配置步骤。This

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294 9 时间段配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . zabbix server/proxy 日志中出现”Trapper got [] len 0” 信息，这是什么原因? A: 很有可能是前端有问题，连接并检查服务是否仍在运行。 10. Q: 系统时间设置为将来的某一时间，导致没有数据出现。这个问题怎么解决? A: 清除数据库中的字段 hosts.disable_until*, drules.nextcheck, httptest.nextcheck 的值，并重启 不会删除任何 Elasticsearch 中的数据 Note: Housekeeper is not deleting any data from Elasticsearch. 历史数据存储于多个基于时间的索引 Storing history data in multiple date-based indices 14 本节介绍使用 pipeline 和 ingest 节点所需的其他配置步骤。This