开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） • 成本越来越⾼高： • 业务中断成本 • 缺少持续改进（运维⼈人员⼤大部分时间忙于救⽕火） • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 基本概念 • AIOps = Artificial Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维： 分析来帮助IT运维： • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner：AIOps对IT运维的改进 ⼤大数据促进平台融合 • 采集各种数据（以下各种⻆角⾊色都关⼼心）： • IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年： • AIOps会从功能演变成平台并落地 • 到2022年年，40%企业会使⽤用AIOps

是 Django 的扩展，用于快速构建 RESTful API 接口。通过 Rest Framework，可以定义 API 视图和序列化器，实现数据的序列化和反序列化，从而方便地 与前端进行数据交互。 MySQL 是一个关系型数据库，用于存储后端的数据。 前端开发（Vue+Element UI）： Vue 是一种现代的 JavaScript 框架，用于构建用户界面。Vue 提供了丰富的组件和模 前端通过 HTTP 请求向后端发送数据请求，后端根据请求进行相应的数据处理，并 返回响应数据给前端。 前端接收到后端返回的数据，并根据数据更新页面展示，实现与用户的交互。 总体而言，这种前后端分离的开发模式有助于实现前后端开发的解耦，使得各自的 开发工作更加专注和高效。前端负责用户界面的呈现和交互，后端负责数据处理和业务 逻辑，通过 API 接口进行数据传输和交互，从而实现一个完整的 Web 51testing.com 二、搭建流程 2.1 后端搭建流程 安装相关包->创建工程->后端依赖（pipenv）创建虚拟环境->后端服务配置启动->后 端创建子应用->后端 Rest Framework->数据库配置 简要说明： 安装相关包：在开始之前，首先需要安装 Python 和 pip，然后安装 Django 等相关包， 可以使用 pip 命令来安装。 创建工程：使用 Django 的命令行工具创建

Developer Group • Speaker @ 2019 GitHub 中国官方见面会 我开发的插件 Python 与人工智能 “Python的快速发展的一个主要增 长点来自于数据科学、机器学习和 学术研究。 “数据科学和机器学习在各种类型的 公司都逐渐成为主流，而Python成 为此用途的首选语言。” 来源: https://stackoverflow.blog/2017/09/14/py 上传训练数据 5. 准备 training script 6. 把 training 任务提交到 Azure Machine Learning 1. 安装 Azure Machine Learning SDK 2. 连接到 Azure Machine Learning 的 Workspace 3. 创建远程运算资源 —— NC6 GPU machines 4. 上传训练数据 5. 准备 将在九月底正式发布！ Python extension for VS Code • Jupyter Notebook 的原生支持 • 导入/导出 Jupyter Notebook • 数据/图表可视化 • 变量查看器 • IPython/Jupyter console • 重构 • IntelliSense • 调试 • 实时的协作开发 Azure Machine Learning

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 6.6 stringprep --- 因特网字符串预备 readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 7 二进制数据服务 141 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 7.2 codecs --- 编解码器注册和相关基类 编解码器注册和相关基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 8 数据类型 163 8.1 datetime --- 基本的日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 8.2 calendar ---

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 6.6 stringprep --- 因特网字符串预备 readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 7 二进制数据服务 149 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 7.2 codecs --- 编解码器注册和相关基类 编解码器注册和相关基类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 8 数据类型 171 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 8.2 calendar

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 6.6 stringprep --- 因特网字符串预备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 7 二进制数据服务 161 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 7.1.1 函数和异常 . . . . . . . . 184 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . . 184 8 数据类型 185 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11 1.12 1.13 1.14 1.15 目录 简介 前言 第 1 章：准备工作 第 2 章：Hello, Flask! 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 2 Flask 入门教程 这是一本 Team 成员。你可以在我 的个人主页了解更多关于我的信息。 目录 前言 第 1 章：准备工作 第 2 章：Hello, Flask! 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 版权信息 书名：Flask 入门教程 touch .env .flaskenv 第 2 章：Hello, Flask! 17 .flaskenv 用来存储 Flask 命令行系统相关的公开环境变量；而 .env 则用来存储敏 感数据，不应该提交进Git仓库，我们把 .env 添加到 .gitignore 文件的结尾（新建一 行）来让 Git 忽略它。你可以使用编辑器执行这个操作： .env 在新创建的 .flaskenv

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 6.6 stringprep --- 因特网字符串预备 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 7 二进制数据服务 155 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 7.1.1 函数和异常 . . . . . . . . 176 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . . 176 8 数据类型 177 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

文本自动换行与填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 6.6 stringprep --- 因特网字符串预处理 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 165 7 二进制数据服务 167 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 167 7.1.1 函数和异常 . . . . . . . . . . . 188 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . 189 8 数据类型 191 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

文本自动换行与填充 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 6.5 unicodedata --- Unicode 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 6.6 stringprep --- 因特网字符串预处理 用于 GNU readline 的补全函数 . . . . . . . . . . . . . . . . . . . . . . . . . 164 7 二进制数据服务 165 7.1 struct --- 将字节串解读为打包的二进制数据 . . . . . . . . . . . . . . . . . . . . . . . . . . 165 7.1.1 函数和异常 . . . . . . . . . . . 186 7.2.7 encodings.utf_8_sig --- 带 BOM 签名的 UTF-8 编解码器 . . . . . . . . . . . . . 187 8 数据类型 189 8.1 datetime --- 基本日期和时间类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189