高效智能运维[云+社区技术沙龙第29期] - 腾讯智能运维(Metis)项目实践
腾讯智能运维(Metis)项目实践 张戎 机器学习高级研究员 张戎 腾讯云 云服务平台部 机器学习高级研究员 • 2015年毕业于新加坡国立大学数学专业,获博士学位; • 2015年加入腾讯科技(深圳)有限公司,机器学习岗位; • 智能推荐系统:神盾推荐项目,2015年7月-2016年5月 • 智能安全系统:机器学习+安全业务,2016年6月-2017年7月 • 智能运维系统:机器学习+业务运维,2017年8月-至今 智能运维系统:机器学习+业务运维,2017年8月-至今 SPEAKER 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 智能运维(AIOps) 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 • 关联事件分析 扩容 • 决策 • 调度 • 优化 智能运维学件库 • 可重用 • 可演进 • 可了解 智能运维学件库 智能运维能力框架体系 AIOps 团队角色划分 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 单维时间序列分析 海量时间序列 业务场景复杂 规则配置繁琐0 码力 | 28 页 | 1.88 MB | 1 年前3QCon北京2017/智能化运维/Self Hosted Infrastructure:以自动运维 Kubernetes 为例
0 码力 | 73 页 | 1.58 MB | 1 年前3CloudExplorer 3.0 部署运维手册v1.2
杭州飞致云信息科技有限公司 1 CloudExplorer 云管理平台 部署运维手册 版本(v1.2) 杭州飞致云信息科技有限公司 2022 年 4 月 杭州飞致云信息科技有限公司 2 目录 一、概述.......................................................................................... ...................................................................................... 12 4.2 部署方法工具................................................................................................... 级、服务操作、日志、监控、备份等详细 说明。CloudExplorer 云管平台采用微服务架构设计,通过本手册能快速了解 CloudExplorer 云管理平台的基础组件构成这样更方便以后在系统运维中更方便的去排查 问题、处理问题。解决了部署环境不统一、部署速度慢、遇到问题无从查起等问题。 二、逻辑架构 2.1 组件说明 CloudExplorer 平台采用 docker-compose0 码力 | 29 页 | 0 Bytes | 1 年前3爱奇艺 CDN 运维平台实践-张强
爱奇艺CDN运维平台实践 张强 爱奇艺基础架构部 研发总监 爱奇艺CDN运维平台实践 张强 爱奇艺基础架构部 研发总监 自我介绍 Ø 2009~2014: 在Intel中国研究中心从事移动OS相关开发工作,先后负责过移动OS Package Manager、工具链等模块的设计与研发工作 Ø 2014年加入爱奇艺,主导了CDN数据平台、CDN调度平台、CDN运维平台研发上线, 目前负责CDN相关产品开发和运维工作 目前负责CDN相关产品开发和运维工作 01 爱奇艺CDN概况 02 运维痛点分析 03 运维平台架构设计 04 平台应用&实践 05 总结&展望 目录 01 爱奇艺CDN概况 数据增长趋势 节点分层策略 CDN 节点特点 爱奇艺CDN数据增长趋势 2014 2019 2015 2018 2016 2017 CDN设备量增长8倍 分布区域增长10倍 带宽增长20倍 爱奇艺CDN节点分层 可连通性弱 变更频繁 02 运维痛点总结 软件配置管理 运维数据统计 CDN设备管理 运维痛点 – 软件配置 连通性 不可保证 状态 不可预知 周期 不可预估 运维痛点 – 数据统计 实时性差 迭代低效 开发繁琐 CNC CT CMNET GWBN SCC IPTV 收集代理 HDFS 数据统计、展示 SSH-Based-Tools 运维痛点 – 设备管理 三大ISP0 码力 | 34 页 | 1.75 MB | 1 年前3运维上海 2017-采用Harbor开源企业级Registry实现高效安全的镜像运维 -张海宁
0 码力 | 41 页 | 4.94 MB | 1 年前3多云管下的自动化运维架构-刘宇
多云管下的自动化运维架构 刘宇 Bespin 高级研发总监 自我介绍 自我介绍 • DevOps专家 • 曾任职于新浪、百度、金山 • 《Puppet实战作者》 《Puppet实战手册》 《Python进阶》 • QCon金牌讲师,QCon优秀出品人 目录 ① 行业趋势分析 ② 多云下运维的挑战 ③ 多云平台架构如何设计? ④ 困难以及挑战 资源统一管理 监控 2019 年主流公有云故障 1% 的机率毁掉一家公司 行业趋势分析 多云下运维的挑战 Nginx Nginx LVS LVS Nginx DB DB Ngx Ngx LVS LVS Ngx DB DB Ngx Ngx LVS LVS Ngx DB DB 业务架构不不断演变 多云下运维的挑战 Ngx Ngx LVS LVS Ngx DB DB Region DB DB 海海外 云故障时,影响不及时 —〉 不可控 集中式监控成本高 —〉 难统一 排查定位问题成本高 —〉 跨度大 业务成本难以核算 —〉 账单难处理 。。。 多云下运维的挑战 Gartner:云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排, 能够自动化部署和配置相关资源,可以与企业现有IT管理系统集成的服务化能力 云管平台架构设计 私有云 公有云0 码力 | 32 页 | 6.05 MB | 1 年前3高效智能运维[云+社区技术沙龙第29期] - ServerlessOps
(docker + k8s) & 微服务的架构和研发 2019 腾讯云 Serverless 产品架构师 核心诉求 Application Application Architecture 开发工具 DevOps 日志 监控告警 Lifecycle Management 网络 计算 存储 数据库 System Resource Monolithic Sprint Cloud Coding Docker KVM 业务运维 平台运维 系统运维 Serverless 介绍 什么是 Serverless、Serverless 提供的运维能力 Serverless 业务运维能力 & 系统运维能力 Serverless 和 虚拟机 2 种形态下运维能力对比 Serverless vs. IaaS 运维能力对比 Serverless 和 虚拟机 2 种形态下运维能力对比 Serverless Serverless 运维案例 腾讯相册微信小程序运维案例 目录 Serverless 介绍 2014 2016 2017 AWS lambda Azure Function GCP Cloud Function IBM Open Wisk Tencent Cloud SCF Ali Cloud FC Firebase Serverless:云计算新趋势 … System Resource0 码力 | 32 页 | 4.85 MB | 1 年前3采用开源Harbor Registry实现高效安全的容器镜像运维
VMware Inc. All rights reserved. 采用开源Harbor Registry实现高效安全的容 器镜像运维 姜坦 VMware中国研发中心资深研发工程师 Runtime Package Cluster 开场 1 镜像运维 2 开源企业级镜像仓库-Harbor 3 集成Harbor 4 总结 议程 4 Registry 是镜像分发瓶颈 – I/O – 网络带宽 • 扩展 registry 服务 – 多实例 registry 共享存储 – 多实例 registry 不共享存储 1 镜像运维 2 开源企业级镜像仓库-Harbor 3 集成Harbor 4 总结 议程 Harbor开源项目 11 • 开源企业级容器镜像仓库 • 由 VMware 主要特性 高可用性 高可用性支持 ova@vSphere ova的虚拟机,直接部署在 vSphere上 图形化管理界面 基于开源UI库Clarity构建 提供完备的镜像管理运维能力 增加批处理操作 为镜像库添加描述信息 Harbor 架构 17 Docker client Nginx API Harbor0 码力 | 29 页 | 3.97 MB | 1 年前3运维上海2017-分布式数据库系统TiDB在Kubernetes平台的自动化运维实践-邓栓
0 码力 | 32 页 | 3.47 MB | 1 年前3高效智能运维[云+社区技术沙龙第29期] - 蓝鲸研发运维技术PaaS体系实践-张敏
腾讯蓝鲸智云秉承开放共赢的理念,以改变中国运维行业为起点,致力于推动国内企业借助研发运营一体化,低成本 实现企业IT经营管理模式升级和自主化。 承载数百款 腾讯业务 管控数十万 台服务器 孵化700+ 应用系统 全球多云 管控 培养数百蓝鲸运 维开发 工具驱动运维:采用运维 开发的模式,实现所有运维任 务自动化、工具化、可视化。 数据驱动运维:基于大数据 的接入、存储、分析技术,对运 维数据进行全面挖掘和分析,实 维数据进行全面挖掘和分析,实 现数据驱动自动化运维。 机器驱动运维:基于智能算法 的机器自我学习,训练机器智能运 维模型,实现无人值守和智能的运 维与运营。 数据化 2015--2017 智能化 2017—现在 蓝鲸目前在腾讯应用情况及发展方向 4个转型的绊脚石 有重客户端游戏,网页游戏,各类官网,移动终端游戏, 大型游戏平台; 平铺式架构,拓扑关系复杂,模块数量上百,服务器数量 几千…… 是没有直观规律的。 开发商很难为了运维体系而对架构或技术做大规模的修改。 有几乎所有的业务类型 有几乎所有的流行技术 300多款游戏相互之间是没有关系的。 发布变更、故障处理等运维操作场景和操作流程是没有直 观规律的。 服务器数量,也就是操作单元,有二十余万。 随着容器技术的普及,操作单元的数量还会暴涨。 所有业务之间无关联 业务操作单元暴涨 运维转型,困难重重 蓝鲸进化第1步:抽象原子平台0 码力 | 26 页 | 8.25 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100