开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） 框架使得学习⻔门槛降低：不不需要博⼠士就能做 • 公司培训与⼈人员参与促进发展 外部数据集成与⾃自动化 • ⼯工单系统 • CMDB（资产管理理） • Run Book⾃自动化 • 告警 • 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案

当Python遇上FPGA PYNQ开源项目的实践与体会 陆佳华 joshual@Xilinx.com 目录 CONTENTS FPGA 35th Computer Architecture Golden Age PYNQ Open Source Framework How Python helps, really a lot.. FPGA 35th National Inventors

C/C++/Java分担慢速计算的压力 Ø Java：较快 Ø GO：C语言一样的执行速度 • 工具完备性 Ø C++：多为开发者开源，如切词、词性 标注等基础工具 Ø Python：海量的第三方开源工具库 Ø Java：较多开源NLP工具，LingPipe、 FudanNLP等 Ø GO：较多开源NLP相关工具， gonlp,goml等 各个击破－第一次建模 • 检索（Retrieval） Ø 每个 判断（query，question）相关性打分， 返回top n作为最终命中知识点，给出对 应知识点的答案回复用户 • 依赖工具 Ø Python及第三方扩展包 各个击破－模型 各个击破－数据 • 开源数据抓取&清洗 • 依赖工具 Ø requests抓取数据 Ø retry重试 • 模型训练&特征生成 • 依赖工具 • gensim：训练word2vec • jieba：切词，统计生成PMI/TM词典

Color Detection Gradient Magnitude Thresholdin g StereoLBM Ø Xilinx并没有专注在机器视觉 算法，HLS中所使用的算法基 本都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个 重构。功能以及接口参数基本 上同原opencv函数保持一致， 方便客户使用。同时适合于 HLS 综合成 怎么产生：需要FPGA 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

Color Detection Gradient Magnitude Thresholding StereoLBM ➢ Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 ➢ 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 怎么产生：需要FPGA 工程师设计 IP ➢ 这些overlay 库可以 re-use ➢ 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

书内的代码配有可一键运行的源文件，托管在 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的展示 效果有限，可前往 hello‑algo.com 网页版获得更好的阅读体验。 致谢 本书在开源社区的群策群力下逐步成长，感谢每一位撰稿人，是他们的无私奉献让这本书变得更好，他 们是（按照 GitHub 自动生成的顺序）：krahets, justin‑tse, sjinzh, Reanon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 1 0. 写在前面 0.1. 关于本书 本项目致力于构建一本开源免费、新手友好的数据结构与算法入门书。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂、学习曲线平滑； ‧ 算法源代码皆可一键运行，支持 Java, C++, Python, “Hello World!” 的回忆。 ‧ 感谢苏潼为本书设计了封面和 LOGO ，在我的强迫症下前后多次帮忙修改，谢谢你的耐心。 ‧ 感谢 @squidfunk 给出的写作排版建议，以及优秀开源项目 Material‑for‑MkDocs 。 本书鼓励“手脑并用”的学习方式，在这点上受到了《动手学深度学习》很大影响，也在此向各位同学强烈推 荐这本著作，包括中文版、英文版、李沐老师 bilibili

书内的代码配有可一键运行的源文件，托管在 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的展示 效果有限，可前往 hello‑algo.com 网页版获得更好的阅读体验。 致谢 本书在开源社区的群策群力下逐步成长，感谢每一位撰稿人，是他们的无私奉献让这本书变得更好，他 们是（按照 GitHub 自动生成的顺序）：krahets, justin‑tse, sjinzh, Reanon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 1 0. 写在前面 0.1. 关于本书 本项目致力于构建一本开源免费、新手友好的数据结构与算法入门书。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂、学习曲线平滑； ‧ 算法源代码皆可一键运行，支持 Java, C++, Python, “Hello World!” 的回忆。 ‧ 感谢苏潼为本书设计了封面和 LOGO ，在我的强迫症下前后多次帮忙修改，谢谢你的耐心。 ‧ 感谢 @squidfunk 给出的写作排版建议，以及优秀开源项目 Material‑for‑MkDocs 。 本书鼓励“手脑并用”的学习方式，在这点上受到了《动手学深度学习》很大影响，也在此向各位同学强烈推 荐这本著作，包括中文版、英文版、李沐老师 bilibili

Color Detection Gradient Magnitude Thresholding StereoLBM Ø Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 怎么产生：需要FPGA 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

7/531 关于作者 廖雪峰，十年软件开发经验，业余产品经理，精通 Java/Python/Ruby/Scheme/Objective C 等，对开源框架有深入研究，著有 《Spring 2.0 核心技术与最佳实践》一书，多个业余开源项目托管在 GitHub，欢迎微博交流： Python 简介 Python 是著名的“龟叔”Guido van Rossum 在 1989 年圣诞节期间，为了 应用卖服务的模式越来越多了，后一种模式不需要把源码给别人。 再说了，现在如火如荼的开源运动和互联网自由开放的精神是一致的， 互联网上有无数非常优秀的像 Linux 一样的开源代码，我们千万不要高 估自己写的代码真的有非常大的“商业价值”。那些大公司的代码不愿意 开放的更重要的原因是代码写得太烂了，一旦开源，就没人敢用他们的 产品了。 Python3 基础教程【完整版】 http://www 代码时，我们得到的是一个包含 Python 代码的以.py 为扩展名的文本文件。要运行代码，就需要 Python 解释器去执行.py 文 件。 由于整个 Python 语言从规范到解释器都是开源的，所以理论上，只要 水平够高，任何人都可以编写 Python 解释器来执行 Python 代码（当然 难度很大）。事实上，确实存在多种 Python 解释器。 CPython 当我们从

算法犹如美妙的交响乐，每一行代码都像韵律般流淌。 愿这本书在你的脑海中轻轻响起，留下独特而深刻的旋律。 第 0 章 前言 hello‑algo.com 2 0.1 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂，学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Python、C++、Java 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 和示例问题等。 第 0 章 前言 hello‑algo.com 3 图 0‑1 本书主要内容 0.1.3 致谢 本书在开源社区众多贡献者的共同努力下不断完善。感谢每一位投入时间与精力的撰稿人，他们是（按照 GitHub 自动生成的顺序）：krahets、Gonglja、nuomi1、codingonion、Reano 第一行代码“Hello World!”的 美好回忆； ‧ 感谢校铨在知识产权方面提供的专业帮助，这对本开源书的完善起到了重要作用； ‧ 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和