使⽤Apache SkyWalking APM 监控 Apache ServiceComb 吴晟 Sheng Wu Huawei DevCloud http://skywalking.io Twitter @AsfSkyWalking 个⼈介绍 GitHub： https://github.com/wu-sheng Personal Homepage： https://wu-sheng

APM 深水区： 赵宇辰 @ 听云 构建连接运维与业务之桥 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 APM现状：全链路监控 基础架构 业务系统 SaaS 原生App 浏览器 H5/Webview 应用性能监控 第一代APM： 主动拨测 APP监控 浏览器监控 基础架构监控 模拟用户 拨测节点 真实用户 小程序监控 OA系统响应及时 ⚫ 网络正常 ⚫ 数据库没有报错 ⚫ 业务和IT系统的对应关系缺失 ⚫ 难以迅速定位问题 ⚫ IT / CIO / 业务部门：KPI、考核、管理层压力 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 IT设施规模快速扩张，IT应用数量不断增多，IT运行压力越来 越大，系统性能波动，故障影响范围难以判断，故障原因难以 定位，企业损失无法衡量，仅求确保IT系统“活着”，能持续 捷开发过程的不断应用，复杂多元的IT运行环境也对传统运维 提出了巨大挑战。 用户感知 快速交付 数据分析 可视化 最大价值化 面向业务和服 务的主动运营 体验 效率 效益 APM深水区：构建连接运维与业务之桥 量化业务表现 用户体验提升 风险防范、故障定位 持续迭代持续优（DevOps） 技术运营 成本 业务运营 效率价值 数据 业务-IT溯源 业务告警

基于APM的智能运维体系在京东物流的落地和实践 付正全 京东物流 架构师 自我介绍 付正全，京东物流架构师，国家认证信息系统项目管 理师，曾任浪潮集团系统架构师，专注监控平台研发 工作 8 年，研究过市场上数十家厂商的监控平台产品， 对 DevOps 和监控平台有比较深入的了解。目前负责 京东物流火眼监控平台的架构设计和开发工作。 目录 ⚫业界智能运维发展现状及趋势 ⚫智能运维体系建设方法论 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫ 智能运维(AIOps)落地规划 业界智能运维发展趋势 新的问题 运维人数不变，管理机器数翻倍 1 2  3 4 正在消失的运维 运维从业者减少，运维专家匮乏 运维平台日趋复杂，缺乏统一规划 公司内部监控/运维系统繁多，形成数据孤岛 网络拓扑日益复杂，资源云化，虚拟资 请求 系统问题定位难 快速发展的APM APM (应用性能管理)市场规模逐年递增 0 10 20 30 40 50 60 70 2014 2015 2016 2017 2018 APM市场规模(亿美元) ◼目前，全球APM市场规模大约在60亿美元左右，预 计在五年内达到90亿美元 ◼APM成为ITOM成长最快的领域 ◼APM能够对企业的关键业务应用进行监测、诊断分

故障注入：不提供 × 超时控制、重试、重写、重定向等：继承 Nginx 的 timeout 机制 √ 监控/故障诊断 链路追踪：主要依靠中间件 APM APM 性能监控：主要依靠中间件 APM APM 遥感数据：主要依靠中间件 APM APM 访问日志：主要依靠日志平台 日志平台 日志平台6/24 Service Mesh 为严选带来了哪些架构收益 • 历史包袱：现有的服务在不改造的情况下引入了服务治理能力 熔断降级 √ 限流 √ 中间件 资源隔离 √ 故障注入 √ 超时控制、重试、重写、重定向等 √ 监控/故障诊断 链路追踪：主要依靠中间件 APM APM 性能监控：主要依靠中间件 APM APM 遥感数据：主要依靠中间件 APM APM 访问日志：主要依靠日志平台 日志平台 日志平台11/24 性能视角 – cNginx vs Envoy（优化前） • 1600RPS+40个并发(主机配置均为 调整后自动应用至 K8s 集群 02.服务管控 • 服务监控项设置并对接基础监控平台 • 服务质量指标（SLI）定制并监控：如 Latency、QPS 等 04.服务监控 • 借助APM的能力 • 发现异常调用链 • 分析请求来源及去向 06.问题定位与诊断 • 服务元数据定义：服务等级、服务集群、服 务器规格及环境 • 服务地图：可视化的服务关系，如业务拓扑、 服务依赖拓扑，集群视图

76 Navigation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 APM Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 Agent Integration operating and controlling the system through the UI, further improving the support for tracing and APM. 3.4.3 Goal For the governance function, the goals are as follows: • support Zookeeper/etcd, manage the features of the observability: • APM Integration APM Integration Background APM is the abbreviation for application performance monitoring. Currently, main APM functions lie in the performance diagnosis

. 63 Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 APM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Tracing . them. Tracking, metrics and logging are important ways to obtain observable data of system status. APM (application performance monitoring) is to monitor and diagnose the performance of the system by collecting ShardingSphere is not responsible for gathering, storing and demonstrating APM data, but pro‐ vides the necessary information for the APM. In other words, Apache ShardingSphere is only respon‐ sible for generating

55 Navigation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 APM Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 Agent Integration operating and controlling the system through the UI, further improving the support for tracing and APM. 4.5.3 Goal For the governance function, the goals are as follows: • support Zookeeper/etcd, manage the features of the observability: • APM Integration APM Integration Background APM is the abbreviation for application performance monitoring. Currently, main APM functions lie in the performance diagnosis

Service Mesh的思考及在华为云 的实践 田晓亮 6/30/2018 9年软件⾏业经验，曾就职于三星，2012年进⼊云计算领域，对 PaaS， DevOps，APM有深⼊的研究和实践经验。⽅案⽀撑近 千台VM中应⽤部署管理监控 。华为云微服务引擎Mesher作者。 华为 架构师 田晓亮 website: http://servicecomb.incubator.apache.org/ control plane Config center Service center Governance Web Console Monitoring Zipkin Huawei APM Prometheus Grafana Kubernetes Go SDK Service Go SDK Service VM Bare metal CCE ServiceStage 背后发生了什么？ • 为应用容器设置环境变量http_proxy • 为mesher设置CSE地址（注册中心， 配置中心） • 为mesher对接APM 日志收集 • 为mesher对接APM metrics收集 • 为mesher 对接APM 调用链追踪 • 告知mesher业务服务的版本以及监控 端口 性能损耗 使用前 使用后 TPS 26000 6300 Latency 0.76ms

. 66 Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 APM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 Tracing . them. Tracking, metrics and logging are important ways to obtain observable data of system status. APM (application performance monitoring) is to monitor and diagnose the performance of the system by collecting ShardingSphere is not responsible for gathering, storing and demonstrating APM data, but pro‐ vides the necessary information for the APM. In other words, Apache ShardingSphere is only respon‐ sible for generating

the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved. 业界动向 —— 开源APM Skywalking 问题：eBPF的内核依赖问题 simplify the growing complexity © 2021, YUNSHAN Networks Technology Co reserved. 效果1：服务访问关系全自动展现 DeepFlow：零侵入、零重启，全景访问关系+全息知识 图谱，无论业务如何迭代，自动呈现实际应用架构。 开发语言、开发框架百花齐放，现有APM高度依赖代 码插桩的监控方式能满足业务高速迭代的需求吗？ simplify the growing complexity © 2021, YUNSHAN Networks Technology Co 全栈链路追踪能力 快速故障定位，缩短MTTR 效果2：服务间调用全栈链路追踪 1 2 3 5 6 7 服务间通过sidecar、 iptables、linux bridge、 NFV网关等相连， 传统APM能追踪得上吗？ simplify the growing complexity © 2021, YUNSHAN Networks Technology Co., Ltd. All rights reserved