多云管下的自动化运维架构 刘宇 Bespin 高级研发总监 自我介绍 自我介绍 • DevOps专家 • 曾任职于新浪、百度、金山 • 《Puppet实战作者》 《Puppet实战手册》 《Python进阶》 • QCon金牌讲师，QCon优秀出品人 目录 ① 行业趋势分析 ② 多云下运维的挑战 ③ 多云平台架构如何设计？ ④ 困难以及挑战 资源统一管理 监控 排查定位问题成本高 —〉 跨度大 业务成本难以核算 —〉 账单难处理 。。。 多云下运维的挑战 Gartner：云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排， 能够自动化部署和配置相关资源，可以与企业现有IT管理系统集成的服务化能力 云管平台架构设计 私有云 公有云 虚拟化 接⼝口适配 多云统⼀一编排 ⾃自助服务 多云管理理 资源优化 云管平台架构设计

IT 在线服务自动化门户......................................................................11 1.5.2 实现资源运行环境全生命周期管理............................................................12 1.5.3 实现运维工具深度整合、联动自动化....... 基础架构、运维工具的在线服务化自动化门户，通过 IT 服务管理模式 转型，加速业务系统的开发、测试、投产、上线，同时减少人工操作以及人工操作风险、解 放人力、提升运维的效率，以及减少资源浪费降低成本支出。并能够在现有的 IT 服务管理 模式转型框架基础上，与时俱进，不断整合演进过程中新采纳和替换的基础架构和运维工具 平台，保持和提升服务、管理、运维、运营各方面的自动化水平和场景自动化覆盖。 图 1: 即将现有的"柜台式"改变为"ATM 在线服务"式，即通过运行环境资源在线服务、自动化部 署、整合运维工具联动自动化，简化协作流程减少 IT 服务部门内部协作。如图 3 所示。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 8 具体服务方式过程改变为用户侧在线提交资源请求，IT 部门收到请求审批，审批后系 统代替人自动化操作各个虚拟化云平台以及运维工具进行部署交付，使得审批后就不用再等

需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN | 发布 服务三：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 以前：面向代码片段的串行交付 现在：面向多个服务编排的产品级自动化并行交付 服务一： 服务定义 | 构建 | 部署 | 测试 | 发布 服务二： 服务定义 | 构建 | 部署 | 测试 | 发布 部署 | 测试 | 发布 代码三： 代码编写 | 构建 | 部署 | 测试 | 发布 特点： ● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流

测试 运维 运维/开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署/灰度上线 xN 监控/告警 服务二：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三：设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 以前：面向代码片段的串行交付 现在：面向多个服务编排的产品级自动化并行交付 服务一： 服务定义 | 构建 | 部署 | 测试 | 发布 服务二： 服务定义 | 构建 | 部署 | 测试 | 发布 服务三： 服务定义 | 构建 | 部署 | 测试 | 发布 代码一： 代码编写 | 构建 | 部署 | 测试 | 发布 代码二： 代码编写 | 构建 | 部署 | 测试 | 发布 代码三： 代码编写 | 构建 | 部署 | 测试 | 发布 特点： ● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流

孵化700＋ 应用系统 全球多云 管控 培养数百蓝鲸运 维开发 工具驱动运维：采用运维 开发的模式，实现所有运维任 务自动化、工具化、可视化。 数据驱动运维：基于大数据 的接入、存储、分析技术，对运 维数据进行全面挖掘和分析，实 现数据驱动自动化运维。 机器驱动运维：基于智能算法 的机器自我学习，训练机器智能运 维模型，实现无人值守和智能的运 维与运营。 数据化 2015--2017 数据存储 版本 视图 自助 发布 临时 活动 流程 系统 老板 视图 配置 刷新 周报 邮件 业务 门户 ...... 十年发展 2008-2012 • 烟囱自动化 2012-2015 • 调度自动化 • 运维PaaS 2015-2017 • 数据运维 • 运维运营PaaS 2017-2019 • DevOps • AIOps • 研发运维运营一体化 01 蓝鲸技术运营PaaS体系 企业落地解决方案 03 企业典型场景分享 CONTENTS 嘉为蓝鲸：研发运营技术PaaS解决方案 PaaS平台 iPaaS+aPaaS 统一DevOps 统一监控&自愈自动化 统一配置管理 运维自动化 嘉为蓝鲸研发、部署、运营自动化场景 ITSM流程管理 数据分析与运营决策 嘉为蓝鲸研发、部署、运营一体化平台 CD（持续部署） 管控平台 配置平台 作业平台 容器平台 CI（持续集成） 持续集成平台

见的超融合平台 有 Nutanix、戴尔的 VxRail，国内的 SmartX、青云超融合。 运维支撑工具平台 指运维工作中帮助运维的各种运维工具平台，如 CMDB、ITSM、监控平台、 自动化作业工具、备份工具、漏洞扫描工具等等。 VMware 平台 虚拟化平台市场中占有率最大的平台，多数大中型企业 IT 都采用了 VMware 虚拟化平台。 PowerVC IBM Power® 化的、一致性的友好用户界面， 支持常见浏览器访问（至少支持 IE9+版本、 Firefox 及 Chrome 最新版本）。支持自定义界面主题风格、Logo 图标。  服务方面  支持多云基础架构下的运行环境服务、自动化部署及操作管理，包括虚拟机、操作 系统、中间件、数据库等应用运行环境单机、批量、集群的在线申请、审批、自动 化部署以及操作、变更、回收等生命周期管理。  支持虚拟机、云磁盘、安全组、负载均衡变更管理。 支持容量管理、性能管理  支持自动化脚本任务  运营方面 杭州飞致云信息科技有限公司 14  支持租户管理、资源池分配授权、配额管理  支持计量计费、订单管理  支持账单管理、费用统计分析、使用统计分析、日报、月报、年报  多云支持方面 支持主流虚拟化、私有云、公有云、容器云，支持云帐号管理、支持各平台应用运行 环境部署生命周期管理、自动化任务，具体支持云服务类型包括计算、网络、存储、

代码提交流程 异常自动化 测试 混沌测试 （每周一次） CI测试（编译、静态检 查、单元测试、集成测 试、覆盖率80%卡点） 邮件通知 Curve所有代码均在github托管。新 代码需要通过CI测试和code review才 能合入master分支，确保新合入代码 的功能、正确性、规范性等都有基本 保障；而每日运行的dailybuild测试在 CI测试基础上增加了异常自动化测试 和混沌测试，确保master分支代码的 测试，等等  单元测试 1300+用例 行覆盖80%+，分支覆盖70%+  集成测试 Given When Then 设计方法 500+用例  异常测试 40+自动化用例  混沌测试 20轮自动化随机故障注入 12/33单元测试 单元测试是软件开发的过程中最基本的测试，它用来对一个模块、一个函数或者一个类来进行 正确性检验的测试工作。 curve通过lcov统计代码 混沌测试，大压力多级故障（随机组合软硬件异常）。 在系统测试过程中，我们尽可能将所有用例自动化，其优点是：  大幅降低了测试回归成本，加快了测试进度；  可以对代码进行足够频繁的测试，有利于提高代码质量；  容易发现隐藏的问题，手工测试无法做到频繁触发  测试用例可以持续积累，成为代码质量的。 目前Curve的 异常测试以及混沌测试 均实现了自动化。 15/33测试用例的编写方法 很多情况下，待测试场景

平台 华为云 DevCloud 阿里云效 腾讯 CODING 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 赋能开发、员工成就感高 碎片化：手工协作 + 复杂工具链 工程化：一个平台 一键发布 工作流、环境配置自动更新、高 效调试、消除手工操作、精准快 速迭代、研发生产力 / 幸福感提 升 自助运行、系统化管理、自动化 程度高、测试有效性提升、质量 有保障、横向赋能、技能提升 随时调用工程基线提供的能力、 产品视角开发交付、团队高效协 同、稳定迭代 产研数字化过程数据透明、关键 指标易抽取、有能力合理调动资 源、随时决策响应客户需求 务 • 安 全 服 务 Zadig 产研协同方案： 自动化一切可以自动化的，让工程师专注创造 2 、 用户核心场景 使用介绍 视频 Demo 演示 ? • 准备环境 • 准备工作流 运维（管理员） • IDE 热部署 • 更新镜像 • 更新配置 • 更新数据 • 日常调试 开发工程师 • 日常测试验证 • 自动化测试 测试工程师 • 升级预发环境 • 升级生产环境

平台 华为云 DevCloud 阿里云效 腾讯 CODING 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 赋能开发、员工成就感高 碎片化：手工协作 + 复杂工具链 工程化：一个平台 一键发布 工作流、环境配置自动更新、高 效调试、消除手工操作、精准快 速迭代、研发生产力/幸福感提升 自助运行、系统化管理、自动化 程度高、测试有效性提升、质量 有保障、横向赋能、技能提升 随时调用工程基线提供的能力、 产品视角开发交付、团队高效协 同、稳定迭代 产研数字化过程数据透明、关键 指标易抽取、有能力合理调动资 源、随时决策响应客户需求 务 • 安 全 服 务 Zadig 产研协同方案： 自动化一切可以自动化的，让工程师专注创造 2、 用户核心场景 使用介绍 视频 Demo 演示 ? • 准备环境 • 准备工作流 运维（管理员） • IDE 热部署 • 更新镜像 • 更新配置 • 更新数据 • 日常调试 开发工程师 • 日常测试验证 • 自动化测试 测试工程师 • 升级预发环境 • 升级生产环境

Samba 或 NFS 实现文件共享，使用 BIND 提供域名解析服务，使用 DHCP 动态管理主机地址，使用 Postfix 与 Dovecot 部署邮件系统，使用 Ansible 服务实现自动化运维，使用 iSCSI 服务部署网络存储，使用 MariaDB 数据库管理系统，使用 PXE+Kickstart 无人值守安装服务，使用 LNMP 架构部署动态网站环境等。此外， 本书的配套站点还深度点评了红帽 多小时，随后警方赶到现场，关闭了这台 ATM 机。 客观来讲，RHEL 7 和 RHEL 8 系统的改变都很大，最重要的是它们采用了 systemd 作为初 始化进程，替换了很多原有的老命令。这样一来，几乎之前所有的运维自动化脚本都需要修改。 那么，到底还要不要升级到新版本呢？当然，也不是说服务器机房中的生产环境从不更新换代。 除了硬件更替外，当工作需求超过了当前软件版本的能力范围时，就必须要进行升级了。 比如，RHEL 门—RH124、RH134、RH294。RH124 涵 盖了系统管理的基础知识，例如安装系统、用户管理、网络管理、远程管理以及软件管理等； RH134 涉及 Shell 自动化脚本的编写、磁盘管理、计划任务、系统安全维护等；RH294 主要 介绍 Ansible 自动化管理工具的使用方法。本书将上述内容一网打尽，一个不漏。 红帽认证考试的形式为上机实操，且在一天内考完。上午的 RHCSA 认证的考试时长是 2.5