开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 基本概念 • AIOps = Artificial Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维： • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）：

京东物流火眼监控平台的架构设计和开发工作。 目录 ⚫业界智能运维发展现状及趋势 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫ 智能运维(AIOps)落地规划 业界智能运维发展趋势 新的问题 运维人数不变，管理机器数翻倍 1 2  3 4 正在消失的运维 运维从业者减少，运维专家匮乏 运维平台日趋复杂，缺乏统一规划 公司内部监控/运维系统繁多，形成数据孤岛 新运维时代来临 目录 ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫智能运维(AIOps)落地规划 智能运维体系建设方法论 ◼统一规划、避免重复建设 ◼标准化是前提 ◼产品化设计、产品化开发 ◼服务驱动 ◼运维中台 ◼业务增值 ◼过程改进 智能运维体系建设方法论 ◼闭环 ◼审计归档 目录 ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫智能运维(AIOps)落地规划 大规模实时监控平台V1.0 大规模监控平台架构 大规模实时监控平台V1.0 ◼多级部门、应用多维度统计 ◼日报、周报、同比、环比统计 ◼低资源使用率TOP统计 ◼低负载应用榜单

基于Consul的多Beats接入 管控与多ES搜索编排 2 拥抱开源、释放云原生的力量 • 背景与挑战 • 多Beats/Logstash接入管控 • 多ES搜索编排系统 • 日志AIOps探索 3 背景与挑战 产品数量 人员规模 主机规模 100+ 1000 + 10000 + 如何降低日志接入门槛 如何保证日志实时上报 如何保障日志采集不影响业务 如何做配置标准化 案例:非APM场景下多组件日志搜索探索 ES/ OtherDB 多集群 多索引 上下文 搜索 Kibana 导航 搜索编 排 异常知 识库 18 日志AIOps探索 日志最佳实践、拨测系统、智能排障、 AIOps探索 19 案例: 基于Kibana的交互式排障 交互式排障，下钻分析，对比分析，快速定位异常 20 案例:如何基于ELK构建内网拨测系统? 基于Healt

展望未来 智能运维（AIOps） 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 • 关联事件分析 • 容量预估分析 解决问题 • 扩容 • 决策 • 调度 • 优化 智能运维学件库 • 可重用 • 可演进 • 可了解 智能运维学件库 智能运维能力框架体系 AIOps 团队角色划分 01

3亿美元；而与之对应的去中心化云存储市场约30 亿美元，去中心化云计算市场约100亿美元。未来，10 年到20年，去中心化云计算、云储存市场有望实现10年 100倍的增长，达到 的规模。 高级能力-精益化运维-云原生AIOps • 传统云原生的运维，虽然依赖于度量， 但是通过监控、日志分析、跟踪链等发 现问题根因所在周期长，依靠人的经验 （并且人的经验无法数据化沉淀），而 得到问题根因后，只能通过人工去修复 或者管理 速度和单物理机千容器的部署密度降低了serverless应用的技术障碍。 OAM统一交付能力 基于OAM的软件交付理念和工具重新定义了内部的DevOps流程，实现了应用的“一键安装、多 处运行”的应用编排目标 AIOps精细化运维 依托于K8S和ServiceMesh等度量数据精确性的提升，并给予AI算法从不同维度计算应用架构运 行态势，实现基于响应的自动化运维方案，大大降低了用户使用门槛，更安全更可靠的交付 最终软件产品。

美团技术团队 JARVIS是一个以稳定性保障为目标的智能化业务运维AIOps平台。主要用于处理系统故障时报警源很 多，会有大量的重复报警，有效信息很容易被淹没等各种问题。此外，过往小规模分布式集群的运维故障 主要靠人和经验来分析和定位，效率低下，处理速度慢，每次故障处理得到的预期不稳定，在有效性和及 时性方面无法保证。所以需要AIOps平台来解决这些问题。 未来的挑战 未来的挑战 经过复盘和R 大，微服务不再“微”了，业务复杂度提升之后，服务就 会变得膨胀。其次，网状结构的服务集群，任何轻微的延迟，都可能导致的网络放大效应。另外复杂的服 务拓扑，如何做到故障的快速定位和处理，这也是AIOps需要重点解决的难题。最后，就是单元化之后， 从集群为单位的运维到以单元为单位的运维，业给美团业务部署能力带来很大的挑战。 作者简介 作者简介 宋斌，美团资深技术专家，长期参与分布式系统架构、 LBS、定价等业务系统、算法数据平台、稳定性保障平台等技术平台的研发和运维。最近重点关注AIOps方向，探索 在高并发、分布式系统架构下，如何更好的做好系统稳定性保障。 美团即时物流的分布式系统架构设计 - 美团技术团队 招聘信息 招聘信息 美团配送技术团队诚招LBS领域、调度履约平台、结算平台、AIOps方向、机器学习平台、算法工程方向 的资深技术专家和架构师。共建全行业最大的单一即时配

关联分析 触发卡余额不足的交易有多少笔？交易失败，扣款返还的交易有多少笔？超限金额的交易有多少笔？ 业务错误监控，业务错误码占比分析（金融场景） APM BPI Analytics AIOps APM深水区：构建连接运维与业务之桥

Opsnow-S3 S3 Security Analytics Cots optimization Resources optimization Big data platform AIOps AIgorithms Machine Learning Open-falcon Deploy Testing CI building Source control Vpn Av

2008-2012 • 烟囱自动化 2012-2015 • 调度自动化 • 运维PaaS 2015-2017 • 数据运维 • 运维运营PaaS 2017-2019 • DevOps • AIOps • 研发运维运营一体化 01 蓝鲸技术运营PaaS体系 02 企业落地解决方案 03 企业典型场景分享 CONTENTS 嘉为蓝鲸：研发运营技术PaaS解决方案 PaaS平台 iPaaS+aPaaS

+ BaaS • GitOps-自动化 • ServiceMesh-下一代分布式应用编程模式 • 应用运维可编程 • 多元化（云，工作负载，服务） • 平台 • 可观测是重中之重 • 智能化-AIOps • 一体化-扩展屏蔽基础设施 • 轻量化-下沉 • 自动化-端到端 Thanks