使⽤Apache SkyWalking APM 监控 Apache ServiceComb 吴晟 Sheng Wu Huawei DevCloud http://skywalking.io Twitter @AsfSkyWalking 个⼈介绍 GitHub： https://github.com/wu-sheng Personal Homepage： https://wu-sheng

基于open-falcon的 平安云监控 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 团队介绍 Ø 平安云IAAS团队 Ø 负责平安集团IAAS平台建设 Ø 为平安集团内部其他子公司服务 Ø 打造对外的金融云服务 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 背景 Ø 应对云主机快速增长 Ø 打造用户自助服务的监控平台 Ø 适应内部的三级网络架构 背景 云管区 公共服务区 可用区 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 系统定位 Ø 保证基础监控，提供监控通道 Ø 要求高可用、高可扩展 Ø 分离用户、平台管理员 建设用户自助平台（看性能、配告警、收告警） Ø 保证告警覆盖率，按类型初始化通用告警策略 Ø 兼顾通用的和个性的监控要求 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 argus是什么 Ø 是平安云监控系统 Ø 希腊神话里的百眼巨人 Ø 基平open-falcon开发的平安云监控系统

每秒百万数据点 Go 应用监控系统演进 张平 AfterShip 高级 SRE 关于 AfterShip 拥抱云原生和开源系统 目 录 监控架构概览 01 如何监控 Go 应用？ 02 Metrics 系统架构演进 03 Why VictoriaMetrics so good？ 04 总结与展望 05 监控架构概览 第一部分 监控系统架构概览 -- 数据源 监控系统架构概览 -- -- 告警配置 监控系统架构概览 -- 告警通道 如何监控 Go 应用？ 第二部分 基于 Prometheus Go 应用监控接入流程 确定指标 为应用埋点 部署应用 配置服务发现 监控展示 指标类型 ● Go 运行时指标 ○ Goroutine 数量 ● 应用层指标 ○ infra_http_request_total ● 业务指标 ○ 总 Tracking 查询量 ○

163yun.com 设计要点十一：全链路监控 www.163yun.com 设计要点十二：全链路压测 www.163yun.com 微服务平台总览 容器平台 (多集群基础设施) Pod & Deployment 网络 Calico, OVS 存储 Ceph 滚动更新 弹性伸缩 日志中心 基础设施监控 开 发 集 群 测 试 集 群 生 维护 开关 API 监控 认证 鉴权 治理 文档 报表 微服务框架 (服务治理) 服务 目录 注册 发现 限流 熔断 降级 容错 路由 负载 均衡 参数 分流 拓扑 依赖 配置 中心 服务 监控 服务 告警 认证 鉴权 统计 概览 知识 库 APM (应用运行期监控) 运行时 拓扑 性能 监控 服务 筛选 调用 调用 链 调用 栈 JVM 监控 数据库 监控 性能 告警 自定义 数据 服务 告警 监控 大屏 账户 审计 CICD (开发流程管理) 代 码 检 出 代 码 编 译 镜 像 构 建 集 成 测 试 自 动 部 署 流水线管理 测试平台 (集成，场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock

的路由问题，解决用户环境与 Nacos 物理环境 映射问题。  CMDB：解决元数据存储，与三方 CMDB 系统对接问题，解决应用，人，资源关系。  Metrics：暴露标准 Metrics 数据，方便与三方监控系统打通。  Trace：暴露标准 Trace，方便与 SLA 系统打通，日志白平化，推送轨迹等能力，并且可以和计 量计费系统打通。  接入管理：相当于阿里云开通服务，分配身份、容量、权限过程。 客户端基于当前可用的长链接进行配置的查询，发布，删除，监听，取消监听等配置领域的 R PC 语意接口通信。 ○ 感知配置变更消息，需要将配置变更消息通知推送当前监听的客户端；网络不稳定时，客户端 接收失败，需要支持重推，并告警。 ○ 感知客户端连接断开事件，将连接注销，并且清空连接对应的上下文，比如监听信息上下文清 理。  Server 之间通信 ○ 单个 Server 需要获取到集群的所有 Server 间的列表，并且为每⼀个 五、基于长链接的⼀致性模型 1. 配置⼀致性模型 sdk-server ⼀致性 53 > Nacos 架构 server 间⼀致性 Server 间同步消息接收处理轻量级实现，重试失败时，监控告警。 断网：断网太久，重试任务队列爆满时，无剔除策略。 2. 服务⼀致性模型 Nacos 架构 < 54 sdk-server 间⼀致性 server 间⼀致性 55 > Nacos 架构

也不会影响中心服 务的稳定性。 四、APPKIT架构 四、APPKIT架构 APPKIT运营配置系统整体框架如下（数据流向如箭头所示）。从功能角度，大体上分为四层：数据层、 服务层、接入层和监控层。 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 4.1 数据层 4.1 数据层 数据层作为最底层的数据存储，其保存了最基本的运营后台数据、流程数据和线上数据。对持久化的数 APPKIT打造稳定、灵活、高效的运营配置平台 - 美团技术团队 4.4 监控层 4.4 监控层 APPKIT-SDK运行在业务机器上，这里就涉及到多台机器的数据一致性问题。同时，随着业务接入运营 数据的增多，SDK对机器内存势必有一定消耗。基于服务的稳定性考虑，我们对SDK运行时的投放内容进 行监控，其主要监控两个指标：运营位数及每个运营位的配置总数。这样做可以带来以下几个好处： 1. 对接入的业务数及机器数进行统计。 2. 通过SDK的配置总数监控，防止数量超过最大限制。 同时，对于非SDK的其他性能指标，我们采用统一的监控平台– CAT  进行监控，其中包括：APPKIT中 心服务的调用QPS，机器的性能，网络流量等通用指标。 五、底层模型–灵活性设计 五、底层模型–灵活性设计 5.1 从一个例子切入 5.1 从一个例子切入 数据模型往往与业务相关。业务越复杂

��������� ��� ���� ����� 全链路监控/eIcLIO功能d绍 ü 监控大盘快速展现系统问题 ü 秒级实时告警第一时间报告 cIAKAcaD AssLes ü 分钟级准实时告警周期性检测 指标规则 ü e告警事i快速定o根源问题 ü 灵活方t的多级告警策略定义 ü 2AgeoF中央告警平台无缝集成 指标统计 调用链跟踪 ü 域T主机T服务A2I级别指标 拓扑s赖关系和性能指标 ü 调用链检索Q通过W务关键字） ü 慢调用查询 ü 失败调用查询Q4NNT5NN） ü 调用链详情展示 监控告警 全链路监控/eIcLIO核心jv 应用开发c员 I5运维T监控中心c员 应用管理c员 • 快速故障告警和问题定o • 把握应用性能和容量评n • 提r可追溯的性能数据 • 定o线U服务性能瓶颈 • 持续l化g码和43L 全链路监控/eIcLIO架构 Web FDLEe AgeFK 接y层 A22 数据源 CafCa 集 群 实时计算层 4HaIC 集 群 OpenTSDB� Elas-c Search� HBase� 数据存储层 数据服务层 (aKa 4eIMAce 数据消费层 准实时监控 (ashboaId 实时监控 其它应用

基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点，现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 APM 监控：应⽤诊断，链路追踪，⽇志分析 微服务治理组件 可靠的业务 贴身护航 基础⽀撑 持续保障系统稳定性 只需很少的运维投⼊即可保证系统稳定性 端点⼀站式 PaaS - Erda 镜像服务 Add-on filebeat / telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼ API ⽹关 微服务拓扑 全链路追踪 错误分析 ⽇志分析 主动监控 浏览器监控 APP 监控 慢SQL JVM 诊断 ⾃定义告警 APM 微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐

������ ������ ����� ������ ������ ������ ���� 11 N 如何定义服务 N 如何发布和订阅服务 N 如何治理服务 N 如何监控服务 N 如何定h故障 N ...... ��������� 12 ����� Registry! Client! Service! Monitor! • ��������������� �http������ 75 �����Mercury���� ü 监控大盘快速展现系统问题 ü 秒级实时告警第一时间报告 criIicaB iHHJeH ü 分钟级y实时告警周期性检测指标规 则 ü a告警事d快速定h根源问题 ü 灵活方n的多级告警策略定义 ü 2igeEDW央告警平台无缝集成 指标统计 调用链跟踪 ü 域Q主机Q服务A2I级别指标展示 拓扑m赖v系和性能指标 ü 调用链检索O通过U务v键字P ü 慢调用查询 ü 失败调用查询O4LLQ5LLP ü 调用链详情展示 监控告警 76 �����Mercury���� 应用开发人员 I5运维Q监控W心人员 应用管理人员 • 快速故障告警和问题定h • 把握应用性能和容量评g • 提l可追溯的性能数据 • 定h线S服务性能瓶颈 • 持续e化b码和43.

数据采集、数据中台、智能算法、⾃自动化等 AIOps系统（常规层次） AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖 • 监控⽣生态系统 • 数据源 数据的摄取挑战 • 各种来源： • SaaS、多云、容器器、微服务、主机、应⽤用等 • 各种数据样式： • Log、Tracking、Event；Metrics、IoT Book⾃自动化 • 告警 • 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus + grafana + thanos elastic stack, TICK stack, Open Telemetry Zabbix, statsd, collectd Nagios, fluentd ⼏几个监控⽅方案作为中台的能⼒力力⽐比较 ⽅方案⽐比较 Prometheus Stack Elastic Stask TICK Stack