知识图谱 链路追踪 黄金指标 关联 应用链路（Tracing） 应用日志（Logging） 应用链路 TraceID 私 有 云 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 知识图谱 链路追踪 黄金指标 关联 应用链路（Tracing） 应用日志（Logging） 应用链路 TraceID 私 有 云 物 理 公 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 0.01% 带宽开销 ︹ 零 侵 入 ︺ 流 量 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 实战 实战1 采集器怎么运行 实战2 BPF和eBPF怎么配合 实战3 如何与eBPF交互 实战4 eBPF kprobe挂在哪 实战5 eBPF uprobe挂在哪 实战6 怎样编码 实战7 怎样传输 实战8 怎样打标签

建非常频繁 •原来使用资产视角管理监控对象的系统不再适用 •要么使用注册中心来自动发现，要么就是采集器和被监控对象通过sidecar模式捆绑一体 指标生命周期变短 •微服务的流行，要监控的服务数量大幅增长，是之前的指标数量十倍都不止 •广大研发工程师也更加重视可观测能力的建设，更愿意埋点 •各种采集器层出不穷，都是本着可采尽采的原则，一个中间件实例动辄采集几千个指标 指标数量大幅增长 •老一代监控 CPU、Mem、Disk、DiskIO、Net、Netstat、Processes、 System、Conntrack、Vmstat 等等。原理就是读取 OS 的数据（通过 /proc 和 syscall 等）做一些简 单计算。有很多采集器可以选择： Telegraf Grafana-agent Datadog-agent node-exporter Categraf Kubernetes Node 组 件的监控 Kubernetes 模式的抓取器，与中间件一起部署、一起升级、一起下线销毁 • 动态改配置：比如中间件部署在物理机上，部署中间件的脚本，顺便创建对应的采集配置，然后对采集器 reload， 下线中间件的时候，就是删除对应的采集配置，对采集器 reload • 中心端统一采集：不同的中间件，可以分别使用不同的采集器实例（相当于根据中间件类型做抓取器的分片）， 每次部署了一个新的中间件实例，就来这个中心配置的地方，增加一条新的采集规则，或者使用服务发现的方式，

钟收到/发出多少包，或者每秒收到/发出多少包。 1 2 3 4 5 6 7 8 而对于监控数据采集器而言，一般是周期性运行的，比如每 10 秒采集一次，每次采集网卡收 到/发出的包这个数据的时候，都只能采集到当前的值，就像执行 ifconfig 命令，每 10 秒执行 一次，每次都看到一个巨大的当前值，而且一次比一次大。如果采集器不做计算，把这个值原封 不动上报给监控服务端，那计算增量、计算速率这个需求，就要放到服务端来实现了，所以服务 (power/exponentiation) 1 1 举一个例子来演示真实环境下的算术运算符的应用，比如之前的例子，对于内存可用率的指标 mem_available_percent 这个指标是采集器直接计算好的，如果采集器没有计算，而是上报了 原始指标 mem_available 和 mem_total，我们仍然可以使用 promql 计算出可用率指标： 逻辑上，是先根据 mem_available{app="clickhouse"}

Beats 采集框架 存 储 MySQL ES Redis TSDB TiDB HDFS Druid …… GSEAgent 数据源 …… …… 机 器 学 习 …… SDK 采集器 场 景 应 用 运维场景应用 营销场景应用 安全场景应用 测试场景应用 运维数据集 营销数据集 安全数据集 测试数据集 数据集成 异构数据接入工具 数据清洗工具 数据开发 全链路数据开发IDE 运营数据集 其他场景应用 其他数据集 功能示例描述 01 蓝鲸技术运营PaaS体系 02 企业落地解决方案 03 企业典型场景分享 CONTENTS 1、CMDB整体逻辑架构 第三方采集器 消费方（自动化、ITSM、监控） 配置数据 配置数据 配置数据消费 配置数据写入 蓝鲸Agent linux win AIX 应用 中间件 数据库 存储 虚拟化平台 …… 外部数据源 配置管理门户 数据分析 数据展示 数据质量 外部对接 功能示例 2、监控整体逻辑架构 监控采集 Agent插件采集 TCP/UDP HTTP(S) 协议采集 Agent Exporter 采集器 SNMP 脚本 第三方接入 API JMX 数据库 视图展示 监控大屏展示 监控拓扑展示 自定义仪表盘 性能趋势展示 自定义应用拓扑 告警事件展示 自定义监控大屏 数据存储 InfluxDB

INTERNAL OR RESTRICTED, ALL RIGHTS RESERVED © 北京快猫星云科技有限公司 All-in-One 的数据采集器 Categraf • 是⼀款 All-in-One 的开源的 telemetry 数据采集器，⽀持指标、⽇志采集； • ⽀持 Tracing 数据的收集； • ⽀持物理机、虚拟机、交换机、容器、K8s、多种中间件/数据库的数据采集，云上云下，均可监控； 如何⾼效的集中监控所有的⻔店？ p 如何度量、发现、治理有 IT 隐患的⻔ 店？ p 如何让总部 IT 先于⻔店发现故障？ 解决⽅案： Flashcat 连锁⻔店集中监控⽅案，基于All-in-One 的开源采集器Categraf，加上业界领先的开源监控 夜莺（Nightingale），集中化的监控所有的⻔店， 并采⽤数据驱动的理念，对所有的⻔店 IT 健康状态 进⾏科学的量化，真正做到先于⻔店发现问题，及

链路追踪 黄金指标 关联 应用链路（Tracing） 应用日志（Logging） 应用链路 TraceID N F V 公 有 云 / 私 有 云 企业混合云 控制器 10W采集器 20+云平台 采集器 1% CPU 1% 带宽开销 原 始 数 据 采 集 云平台API 容器编排API TKE ACK 知识图谱 变更事件 资源信息 全 景 图 基于应用代码和日志的可观测性

• 简单检查 – VMware 监控 • 日志文件监控 • 可计算监控项 – 聚合计算 • Zabbix 内部检查 • SSH 检查 • Telnet 检查 • 外部检查 • 采集器监控项 • JMX 监控 • ODBC 检查 • 相关监控项 • HTTP 检查 • Prometheus 检查 • 脚本监控 所有监控项类型的详细描述都包含在本章的各个小节中。即使监 息，脚本 fork 出的进程将被杀死。 12 采集器监控项 概述 采集器监控项接收传入的数据，它不会去主动采集数据。 它接受任何形式的推送到 zabbix server 的数据。 要使用采集器监控项，你需要： • 在 Zabbix 中建立一个采集器监控项 • 将数据发送到 Zabbix server 配置 监控项配置 要配置采集器监控项： 300 • 转到：配置 → 主机 • 点击主机所在行的监控项 • 点击创建监控项 • 在表单中输入监控项的参数 所有标有红色星号的都是必填字段。 需要填写采集器特定信息的字段是： 类型 在此处选择 Zabbix 采集器。 键值 输入发送数据时用于识别监控项的键。 信息类型 选择与将要发送的数据格式相对应的信息类型。 允许的主机 以逗号分隔的 IP 地址列表或主机名，可选择以 CIDR 表示法。 如果指定，则仅接受来自此处列出的主机的传入连接。

RESTful 接口 LLD – 低级别发现 低级发现提供了一种监控主机上变化实体，并 自动创建监控指标，触发器和图形的方法。 l 磁盘 l 网卡 l 端口 l ....... 例如 预处理 对采集器采集的原始数据通过管道进行处理，最终达到 数据展现和存储的要求。 例如 SNMP采集交换机内存 15MB string? 图形？触发器？ Kubernetes 架构 k8s node

夜莺Server数据处理 06. data - read 夜莺Server数据处理 夜莺设计实现 技术难点及细节 第六部分 0１. 规则集中化管理及自动发现 夜莺 技术难点及细节 0２. 采集器 夜莺 技术难点及细节 0２. 数据序列化及传输问题 夜莺 技术难点及细节 Thank you

叉的进程将终止。 12 采集器监控项 概述 采集器监控项接收传入的数据，它不会去主动采集数据。它接受任何形式的推送到 zabbix server 的数据。 监控项配置 要配置采集器监控项： • 转到：配置 → 主机 • 点击主机所在行的监控项 • 点击创建监控项 • 在表单中输入监控项的参数 290 所有标有红色星号的都是必填字段。 需要填写采集器特定信息的字段是： 类型 类型 在此处选择 Zabbix 采集器。 键值 输入发送数据时用于识别监控项的键。 信息类型 选择与将要发送的数据格式相对应的信息类型。 允许的主机 以逗号分隔的 IP 地址列表或主机名 (可选择以 CIDR 表示法) 或 DNS 名称. 如果指定，则仅接受来自此处列出的主机的传入连接. 如果启用 IPv6 支持，则为’127.0.0.1’, ’::127.0.0.1’, ’::ffff:127.0 截至目前为止，支持监控的 VMware vCenter 或 vSphere 版本为 5.1 版。 数据采集 虚拟机的监控包含两个步骤： 1. Zabbix vmware collector（vmware 采集器）进程完成对虚拟机的数据采集 - 这些进程通过 SOAP 协议收集包括必要的 VMware web 服务信息，对这些信息进行预处理并且存储于 Zabbix Server 的共享内存。 2. Zabbix