开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） 框架使得学习⻔门槛降低：不不需要博⼠士就能做 • 公司培训与⼈人员参与促进发展 外部数据集成与⾃自动化 • ⼯工单系统 • CMDB（资产管理理） • Run Book⾃自动化 • 告警 • 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案

当Python遇上FPGA PYNQ开源项目的实践与体会 陆佳华 joshual@Xilinx.com 目录 CONTENTS FPGA 35th Computer Architecture Golden Age PYNQ Open Source Framework How Python helps, really a lot.. FPGA 35th National Inventors

来提高运算性能和优化资源利用率 Ø 从算法验证到硬件实现的自动化工作流程 Ø 适合C算法的工程师进行快速硬件验证 Ø 赛灵思提供基于 OpenCV 的库函数，适用于图像处理 Ø 高层次EDA开发工具，C开发者的福音，Xilinx 开发工具的核心引擎。 Ø 怎么用C语言写硬件逻辑设计？ Ø 使用C 的编程语法 Ø 借用硬件设计的思路 高层次综合工具 （Vivado HLS) 11 赛灵思 openCV Color Detection Gradient Magnitude Thresholdin g StereoLBM Ø Xilinx并没有专注在机器视觉 算法，HLS中所使用的算法基 本都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个 重构。功能以及接口参数基本 上同原opencv函数保持一致， 方便客户使用。同时适合于 HLS 综合成 怎么产生：需要FPGA 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming

来提高运算性能和优化资源利用率 ➢ 从算法验证到硬件实现的自动化工作流程 ➢ 适合C算法的工程师进行快速硬件验证 ➢ 赛灵思提供基于 OpenCV 的库函数，适用于图像处理 ➢ 高层次EDA开发工具，C开发者的福音，Xilinx 开发工具的核心引擎。 ➢ 怎么用C语言写硬件逻辑设计？ ➢ 使用C 的编程语法 ➢ 借用硬件设计的思路 高层次综合工具 （Vivado HLS) 11 赛灵思 openCV Color Detection Gradient Magnitude Thresholding StereoLBM ➢ Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 ➢ 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 怎么产生：需要FPGA 工程师设计 IP ➢ 这些overlay 库可以 re-use ➢ 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming

来提高运算性能和优化资源利用率 Ø 从算法验证到硬件实现的自动化工作流程 Ø 适合C算法的工程师进行快速硬件验证 Ø 赛灵思提供基于 OpenCV 的库函数，适用于图像处理 Ø 高层次EDA开发工具，C开发者的福音，Xilinx 开发工具的核心引擎。 Ø 怎么用C语言写硬件逻辑设计？ Ø 使用C 的编程语法 Ø 借用硬件设计的思路 高层次综合工具 （Vivado HLS) 11 赛灵思 openCV Color Detection Gradient Magnitude Thresholding StereoLBM Ø Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 怎么产生：需要FPGA 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming

Machine Learning 开发工具 à Azure Notebook Azure Machine Learning • 拥有不同运算性能的机器 • 降低成本，按需付费 • 支持不同的开源框架：TenserFlow、PyTorch、MXNet 等 Azure Notebook Jupyter Notebook on Azure • 免费 • 全托管 • 无需安装 • 无需配置 配置 ACI container 3. 部署 model 测试 web service 如果我想要更强大的编辑功能呢？ Stack Overflow 2019 开发者调查 Visual Studio Code • 开源 • 跨平台 • 轻量级 • 智能提示 (IntelliSense) • 代码调试 • 内置 Git 支持 • 多语言支持 • 丰富的插件 VS Code 最热门的插件是？ for VS Code • 连接 AML 服务 • 管理 workspaces • 提交 experiments • 注册模型 • 部署 • 以及更多 VS Code 远程开发 • 允许开发者使用容器、远程机器（通过SSH）或者 WSL 作为开发环境进行开发。 • 发布于 PyCon US 2019 VS Code 远程开发 —— 容器 VS Code 远程开发 —— 远程机器 VS

C/C++/Java分担慢速计算的压力 Ø Java：较快 Ø GO：C语言一样的执行速度 • 工具完备性 Ø C++：多为开发者开源，如切词、词性 标注等基础工具 Ø Python：海量的第三方开源工具库 Ø Java：较多开源NLP工具，LingPipe、 FudanNLP等 Ø GO：较多开源NLP相关工具， gonlp,goml等 各个击破－第一次建模 • 检索（Retrieval） Ø 判断（query，question）相关性打分， 返回top n作为最终命中知识点，给出对 应知识点的答案回复用户 • 依赖工具 Ø Python及第三方扩展包 各个击破－模型 各个击破－数据 • 开源数据抓取&清洗 • 依赖工具 Ø requests抓取数据 Ø retry重试 • 模型训练&特征生成 • 依赖工具 • gensim：训练word2vec • jieba：切词，统计生成PMI/TM词典

7/531 关于作者 廖雪峰，十年软件开发经验，业余产品经理，精通 Java/Python/Ruby/Scheme/Objective C 等，对开源框架有深入研究，著有 《Spring 2.0 核心技术与最佳实践》一书，多个业余开源项目托管在 GitHub，欢迎微博交流： Python 简介 Python 是著名的“龟叔”Guido van Rossum 在 1989 年圣诞节期间，为了 应用卖服务的模式越来越多了，后一种模式不需要把源码给别人。 再说了，现在如火如荼的开源运动和互联网自由开放的精神是一致的， 互联网上有无数非常优秀的像 Linux 一样的开源代码，我们千万不要高 估自己写的代码真的有非常大的“商业价值”。那些大公司的代码不愿意 开放的更重要的原因是代码写得太烂了，一旦开源，就没人敢用他们的 产品了。 Python3 基础教程【完整版】 http://www 代码时，我们得到的是一个包含 Python 代码的以.py 为扩展名的文本文件。要运行代码，就需要 Python 解释器去执行.py 文 件。 由于整个 Python 语言从规范到解释器都是开源的，所以理论上，只要 水平够高，任何人都可以编写 Python 解释器来执行 Python 代码（当然 难度很大）。事实上，确实存在多种 Python 解释器。 CPython 当我们从

三、设计 四、应用案例 五、思考 一、背景 深度学习框架是包含深度学习模型设计、训练和验证的一套标准接口、特性库和工具包，集成深度学习 的算法封装、数据调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是算法工 程师的必备工具之一。 美国互联网对AI底层技术战略性投入力度较大，但中国的AI产业主要受需求拉动，大多数人工智能 公司布局应用层。 一、背景：深度学习框架的演进 ���� ����� ���� ����� ���� ��� 面向应用服务提供解 决方案或一般性方法。 提供模型生命周期中 科配置的各类功能组件。 实现框架最基础、最 核心的功能，帮助开发者 屏蔽底层硬件技术细节。 三、设计：最小化的深度学习框架 从模型的设计者角度思考，一个模型设计的最小使用内容。 三、设计：最小MVP深度学习框架的层次逻辑 � � � � Datasets 离业务的技术体系价值不大。 n 是否存在完美的深度学习框架？ 一切以落地场景为根基，满足业务使用即可，不要过度设计，过度设计将会导致框架越来越复杂、 臃肿。 n 实现的深度学习框架与目前主流开源的结果计算结果不一致怎么办？ 一方面深入原理，在掌握系统理论基础后去实现；另一方面每一个算法的实现细节都会不同，注意 实现细节。 感 谢！ !"#$#%&'()*+,

获取最新的文档，以跟上知识更新换 代的步伐。 文档地址：http://www.bookstack.cn/books/Django-intro-zh 书栈官网：http://www.bookstack.cn 书栈开源：https://github.com/TruthHun 分享，让知识传承更久远！ 感谢知识的创造者，感谢知识的分享者，也感谢每一位阅读到此处的 读者，因为我们都将成为知识的传承者。 致谢 - 上提交迁移数据并使其能在 创建你的第一个 Django 项目， 第二部分 - 27 - 本文档使用 书栈(BookStack.CN) 构建 多个应用里使用；这不仅仅会让开发更加简单，也给别的开发者和生产环境中的使用带来方便。 通过阅读 Django-admin 文档，你可以获得关于 manage.py 工具的更多信息。 现在让我们进入交互式 Python 命令行，尝试一下 Django 为你创建的各种 本文档使用 书栈(BookStack.CN) 构建 你也许遇到过这种情况：你编写了一个绝赞的软件，但是其他开发者看都不看它一眼，因为它缺少测 试。没有测试的代码不值得信任。 Django 最初开发者之一的 Jacob Kaplan-Moss 说过：“项目 规划时没有包含测试是不科学的。” 其他的开发者希望在正式使用你的代码前看到它通过了测试，这是你需要写测试的另一个重要原因。 前面的几点都是从单人