开源AIOps数据中台搭建与 Python的作⽤用 丁来强 关于我 • ⼯工作10+年年，熟悉⼤大数据分析、ITOps、SecOps等领域 • 阿⾥里里云⽇日志服务上海海负责⼈人，之前在Splunk上海海 • ⾃自从2015年年，在4届PyCon上，累计分享7+不不同议题 • 云栖⼤大会或社区累计分享13+个⼤大数据系统或Python相关议题 往届视频与PPT ⽇日志服务钉钉群 ⽇日志服务钉钉群 ⽬目录 CONTENTS 关于AIOps ⼯工程难点 开源⽅方案与Python作⽤用 1 关于AIOps 根据Gartner的报告，AIOps将在未来5-10年年落地开花，并集中统⼀一 各种Ops平台 IT运维的⽬目标/KPI 1 2 3 IT运维的挑战 • 复杂度越来越⾼高： • 架构演变：SaaS、多云、容器器、微服务等 • 数据孤岛越来越多：⼤大数据的3V（容量量、变化、种类） 框架使得学习⻔门槛降低：不不需要博⼠士就能做 • 公司培训与⼈人员参与促进发展 外部数据集成与⾃自动化 • ⼯工单系统 • CMDB（资产管理理） • Run Book⾃自动化 • 告警 • 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案

当Python遇上FPGA PYNQ开源项目的实践与体会 陆佳华 joshual@Xilinx.com 目录 CONTENTS FPGA 35th Computer Architecture Golden Age PYNQ Open Source Framework How Python helps, really a lot.. FPGA 35th National Inventors

Color Detection Gradient Magnitude Thresholdin g StereoLBM Ø Xilinx并没有专注在机器视觉 算法，HLS中所使用的算法基 本都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个 重构。功能以及接口参数基本 上同原opencv函数保持一致， 方便客户使用。同时适合于 HLS 综合成 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming both with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

Color Detection Gradient Magnitude Thresholding StereoLBM ➢ Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 ➢ 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 工程师设计 IP ➢ 这些overlay 库可以 re-use ➢ 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming both with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

Color Detection Gradient Magnitude Thresholding StereoLBM Ø Xilinx并没有专注在机器视觉算 法，HLS中所使用的算法基本 都是开源的 OpenCV 算法 Ø 目前HLS提供的视觉算法函数， 只是opencv原版函数的一个重 构。功能以及接口参数基本上 同原opencv函数保持一致，方 便客户使用。同时适合于HLS 综合成 工程师设计 IP Ø 这些overlay 库可以 re-use Ø 大前提：需要FPGA 工程师设计好硬件外设和算子库，需要firmware 工程师设计好驱动。先要搭好这个 PYNQ框架。目前开源社区已经有大量设计好的 overlay and driver 供使用。 PYNQ 是如何加速 Python 设计效率的？ 14 PYNQ uses Python for programming both with Python 3.6 20 PYNQ Framework: interfacing Python with Xilinx SoC 21 PYNQ Library 22 PYNQ 开源社区项目 http://www.pynq.io/community.html Jupyter Notebook Python PL Overlay Bitstream PYNQ Notebook

书内的代码配有可一键运行的源文件，托管在 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的展示 效果有限，可前往 hello‑algo.com 网页版获得更好的阅读体验。 致谢 本书在开源社区的群策群力下逐步成长，感谢每一位撰稿人，是他们的无私奉献让这本书变得更好，他 们是（按照 GitHub 自动生成的顺序）：krahets, justin‑tse, sjinzh, Reanon, . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 1 0. 写在前面 0.1. 关于本书 本项目致力于构建一本开源免费、新手友好的数据结构与算法入门书。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂、学习曲线平滑； ‧ 算法源代码皆可一键运行，支持 Java, C++, Python, “Hello World!” 的回忆。 ‧ 感谢苏潼为本书设计了封面和 LOGO ，在我的强迫症下前后多次帮忙修改，谢谢你的耐心。 ‧ 感谢 @squidfunk 给出的写作排版建议，以及优秀开源项目 Material‑for‑MkDocs 。 本书鼓励“手脑并用”的学习方式，在这点上受到了《动手学深度学习》很大影响，也在此向各位同学强烈推 荐这本著作，包括中文版、英文版、李沐老师 bilibili

书内的代码配有可一键运行的源文件，托管在 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的展示 效果有限，可前往 hello‑algo.com 网页版获得更好的阅读体验。 致谢 本书在开源社区的群策群力下逐步成长，感谢每一位撰稿人，是他们的无私奉献让这本书变得更好，他 们是（按照 GitHub 自动生成的顺序）：krahets, justin‑tse, sjinzh, Reanon, . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 1 0. 写在前面 0.1. 关于本书 本项目致力于构建一本开源免费、新手友好的数据结构与算法入门书。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂、学习曲线平滑； ‧ 算法源代码皆可一键运行，支持 Java, C++, Python, “Hello World!” 的回忆。 ‧ 感谢苏潼为本书设计了封面和 LOGO ，在我的强迫症下前后多次帮忙修改，谢谢你的耐心。 ‧ 感谢 @squidfunk 给出的写作排版建议，以及优秀开源项目 Material‑for‑MkDocs 。 本书鼓励“手脑并用”的学习方式，在这点上受到了《动手学深度学习》很大影响，也在此向各位同学强烈推 荐这本著作，包括中文版、英文版、李沐老师 bilibili

本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的 展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 致谢 本书在开源社区众多贡献者的共同努力下不断成长。感谢每一位投入时间与精力的撰稿人，他们 是（按照 GitHub 自动生成的顺序）：krahets, sjinzh, justin‑tse, Reanon, nuomi1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322 1 0. 前言 0.1. 关于本书 本项目旨在创建一本开源免费、新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂、学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Java, C++, Python 一行代码“Hello World!”的 美好回忆。 ‧ 感谢苏潼为本书设计了精美的封面和 LOGO，并在我的强迫症下多次耐心修改。 ‧ 感谢 @squidfunk 提供的写作排版建议，以及杰出的开源项目 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和文章。这些作品为本书提供了优秀的范本，确保 了本书内容的准确性与品质。在此感谢所有老师和前辈们的杰出贡献！

算法犹如美妙的交响乐，每一行代码都像韵律般流淌。 愿这本书在你的脑海中轻轻响起，留下独特而深刻的旋律。 第 0 章 前言 hello‑algo.com 2 0.1 关于本书 本项目旨在创建一本开源、免费、对新手友好的数据结构与算法入门教程。 ‧ 全书采用动画图解，结构化地讲解数据结构与算法知识，内容清晰易懂，学习曲线平滑。 ‧ 算法源代码皆可一键运行，支持 Python、C++、Java 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 和示例问题等。 第 0 章 前言 hello‑algo.com 3 图 0‑1 本书主要内容 0.1.3 致谢 本书在开源社区众多贡献者的共同努力下不断完善。感谢每一位投入时间与精力的撰稿人，他们是（按照 GitHub 自动生成的顺序）：krahets、Gonglja、nuomi1、codingonion、Reanon 第一行代码“Hello World!”的 美好回忆； ‧ 感谢校铨在知识产权方面提供的专业帮助，这对本开源书的完善起到了重要作用； ‧ 感谢苏潼为本书设计了精美的封面和 logo ，并在我的强迫症的驱使下多次耐心修改； ‧ 感谢 @squidfunk 提供的排版建议，以及他开发的开源文档主题 Material‑for‑MkDocs 。 在写作过程中，我阅读了许多关于数据结构与算法的教材和