腾讯智能运维（Metis）项目实践 张戎 机器学习高级研究员 张戎 腾讯云 云服务平台部 机器学习高级研究员 • 2015年毕业于新加坡国立大学数学专业，获博士学位； • 2015年加入腾讯科技（深圳）有限公司，机器学习岗位； • 智能推荐系统：神盾推荐项目，2015年7月-2016年5月 • 智能安全系统：机器学习+安全业务，2016年6月-2017年7月 • 智能运维系统：机器学习+业务运维，2017年8月-至今 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 智能运维（AIOps） 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 • 关联事件分析 • 容量预估分析 解决问题 • 扩容 • 决策 • 指数移动平均算法 • 二次指数移动平均算法 • 三次指数移动平均算法 • 奇异值分解算法 • 自回归算法 • 深度学习算法 时间序列的分类特征 • 熵特征 • 值分布特征 • 小波分析特征 单维时间序列分析 有监督异常检测算法 （RF，GBDT，XGBoost，深度学习） 数据层 数据存储 数据提取 统计算法 输出疑似异常 无监督算法 输出疑似异常 有监督算法 特征工程

开发的模式，实现所有运维任 务自动化、工具化、可视化。 数据驱动运维：基于大数据 的接入、存储、分析技术，对运 维数据进行全面挖掘和分析，实 现数据驱动自动化运维。 机器驱动运维：基于智能算法 的机器自我学习，训练机器智能运 维模型，实现无人值守和智能的运 维与运营。 数据化 2015--2017 智能化 2017—现在 蓝鲸目前在腾讯应用情况及发展方向 4个转型的绊脚石

企业基于 CI/CD 工具自建 DevOps 流程平台 围绕 Jenkins 、 Tekton 、 Argo 等 搭建流程串接胶水平台 建设成本高 500-2000 万之间 使用和学习门槛高；随业务发展扩展性差 局限性大，内部推广难度极高，做完后维 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强 ，可灵活广泛接入现有工具链和业务场景 可用性极高，没有 Zadig 集成测试完 全没法做。 —— 字节跳动 SRE 工程师卢肇 兴 解决方案： Gerrit + Zadig 实现机器自动验证 扫 码 查 看 案 例 细 节 典型客户：新零售独角兽 用 Zadig 15 万家门店周发布 7 次 “ 没有 Zadig, 我们的自动化测试不可能做起

强，全球多地跨云跨域安全可靠自动化部署 企业基于 CI/CD 工具自建 DevOps 流程平台 围绕 Jenkins 、Tekton、Argo 等搭建流程串接胶水平台 建设成本高 500-2000万之间 使用和学习门槛高；随业务发展扩展性差 局限性大，内部推广难度极高，做完后维 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强， 可灵活广泛接入现有工具链和业务场景 典型案例：Zadig 帮助 平均每周自动部署1200次 Zadig 可用性极高，没有 Zadig 集成测试完全 没法做。 ——字节跳动 SRE 工程师卢肇兴 解决方案：Gerrit + Zadig 实现机器自动验证 扫 码 查 看 案 例 细 节 典型客户：新零售独角兽 用 Zadig 15万家门店周发布7次 “没有 Zadig, 我们的自动化测试不可能做起来” ——非码测试总监 “Zadig

GITOPS CONTROL PLANE 工作 工作负载 负载 5 1.3. 其他资源 如需有关污点和容限的更多信息，请参阅使用节点污点控制 pod 放置。 有关基础架构机器集的更多信息，请参阅 创建基础架构机器集。 Red Hat OpenShift GitOps 1.13 基 基础 础架 架构节 构节点上的 点上的 GitOps 工作 工作负载 负载 6

和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化 部署，现有服务 0 迁移成本 、体验丝滑接入容易、学习 使用门槛极低 现存做法大多以「单点工具 + 写脚本」或运管类平台为主， Zadig 则是面向开发者视角，中立，云原生一体化价值链平台。 与现存 DevOps 方案对比： 现存方案 典型代表 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 企业自建 DevOps 流程平台 围绕 Jenkins 或 CI/CD

和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化部 署，现有服务 0 迁移成本、 体验丝滑接入容易、学习使用 门槛极低 现存做法大多以「单点工具 + 写脚本」或运管类平台为主，Zadig 则是面向开发者视角，中立，云原生一体化价值链平台。 与现存 DevOps 方案对比： 现存方案 典型代表 方案特点分析 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 企业自建 DevOps 流程平台 围绕 Jenkins 或 CI/CD

内存/100G 硬盘 2 Nginx+keepaliv e 可使用现有 的 负载均衡设备， 如：F5 4.2 部署方法工具 4.2.1 单机部署 1) 复制离线包到目标机器 将离线包复制到目标机器的 /opt 目录下。 杭州飞致云信息科技有限公司 13 2) 解压并执行安装脚本 具体步骤如下： [root@local]# cd /opt [root@local]# tar

所示，按需修改模版名称、描述，然后 选择【下一步】打开向导第二页，如图 7-54 所示。 （3）在向导第二页中，配置资源池放置策略、CPU 核数可选最大值、内存量可选最大 值、IP 分配策略、机器名、vCenter 中存放目录、是否重置模版系统管理员密码、是 杭州飞致云信息科技有限公司 156 否启用 CPU 热添加、内存热添加等，如图 7-54(a)、7-54(b)所示，然后【下一步】 分散部署方式  要求主机名都转成小写  要求工作空间用户能够选择资源池  要求虚拟机部署后存放在 Vmware 的组织/工作空间目录下  要求审批管理员可以修改规格配置、分配资源池、机器名、存放文件夹 配置方法步骤如下: （1）限制申请最大 16C32G 在【虚拟机服务】门户，左侧页面中选择【服务目录】下的【产品模板】，打开【模 板管理】页面，选择 VMware 默认模板对 7-113-2 授权用户页面  切换到 VMware 工作空间申请主机 杭州飞致云信息科技有限公司 207 图 7-114 选择工作空间页面 （7）审批管理员可修改规格配置、分配资源池、机器名、存放文件夹 在【虚拟机服务】门户，左侧页面中选择【服务目录】下的【产品模板】，打开【模 板管理】页面后在对应模板后点击：操作->编辑模板，点击【下一步】到模板权限配置， 根据需求进行权限修改，如图

基本信息 “Zadig 毫⽆疑问是业界优秀的 CI/CD 产品，它也是真正理解微服务、重视微服务、 解决微服务痛点的产品。我们充分感受到 Zadig 的优秀设计思想是⾮常值得字节 DevOps 团队借鉴学习的。” Zadig 理念 & 应⽤ Zadig 具备丰富的开放能⼒ 可以集成⼀切 Zadig 产品特性 路特斯某运维团队，抛弃传统⼯具，⽤ Zadig 将研发重复性事务⾃动 化、平台化，⼤幅