1_丁来强_开源AIOps数据中台搭建与Python的作用
数据采集、数据中台、智能算法、⾃自动化等 AIOps系统(常规层次) AIOps系统架构 • 场景应⽤用 • 智能监测系统 • ⾃自动化系统 • ⼯工单知识库 • 数据湖 • 监控⽣生态系统 • 数据源 数据的摄取挑战 • 各种来源: • SaaS、多云、容器器、微服务、主机、应⽤用等 • 各种数据样式: • Log、Tracking、Event;Metrics、IoT Book⾃自动化 • 告警 • 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus + grafana + thanos elastic stack, TICK stack, Open Telemetry Zabbix, statsd, collectd Nagios, fluentd ⼏几个监控⽅方案作为中台的能⼒力力⽐比较 ⽅方案⽐比较 Prometheus Stack Elastic Stask TICK Stack0 码力 | 48 页 | 17.54 MB | 1 年前303 小罗 python与devops
自动化以及持续集成(CI)、持续部署(CD)为 基础,来优化程式开发、测试、系统运维等所有 环节 构建Devops之前面临的问题 Devops 过程包含,代码构建打包、测试、部署、发布、监控、回滚等等一个 项目的闭环、快速构建以上过程。 构建Devops常用软件技术栈 •代码管理(SCM):GitHub、GitLab、SubVersion •构建工具:Ant、maven •自动 che Mesos、swarm •服务注册与发现:Zookeeper、etcd、Consul •脚本语言:python、ruby、shell •日志管理:ELK、Logentries •系统监控:zabbix、prometheus 前东家关于Devops的一些实践 Devops传统方式下构建示例 Devops发布流程需要考虑几个问题 1、发布什么应用,发布到哪里(CMDB) 2、发布人员是否有权限(RBAC) via ssh: ssh: connect to host 1.1.1.1 port 22: Connection timed out\r\n', 'unreachable': True}}} 监控系统二次开发 Zabbix api 二次开发 https://blog.51cto.com/xiaoluoge/1827151 #coding:utf-8 import time from zabbix_client0 码力 | 22 页 | 1.64 MB | 1 年前38 安翔 Python助力物联网项目开发
终端通信:网关通过LoRa模块与终端设备通信,包括数据监听、接收、 缓存、解析和发送。 • 后端通信:网关通过WIFI、有线、移动网络等方式,采用MQTT、 HTTP协议与服务器端进行通信。 • 手机告警:网关收到终端的告警信息后通过2G模组拨打安防人员的电 话,并发送短信。 • 数据存储:存储所有终端设备的状态信息和配置参数。 • 文件备份:定期将本地数据库传输到服务器端进行备份,以防网关设 备损坏而造成数据丢失。0 码力 | 22 页 | 5.00 MB | 1 年前3Python在金融领域的应用与创新 王宇韬
Python舆情监控系统 2.华能信托及个人简介 4.华小智金融科技实验室 3.舆情监控详细代码分析 目录 CHAPTER 1 Python舆情监控系统 舆情监控系统 - 视频简介 HUMANS ARE CREATIVE BEINGS. IF IT IS NOT REAL TEXT, THEY WILL FOCUS ON THE DESIGN. 视频太大了,我就留个网址吧 舆情监控视频:https://v SHOW ME THE CODE CHAPTER 3 舆情监控详细代码分析 Python舆情监控 4 3 2 6 1 5 百度新闻批量爬取 24小时不间断爬取 舆情预警系统 数据清洗及优化 IP代理与反爬 舆情评分系统 HUANENG GUICHENG TRUST CORPORATION LTD. Python舆情监控 HUANENG GUICHENG TRUST CORPORATION 百度新闻批量爬取 24小时不间断爬取 舆情预警系统 数据清洗及优化 IP代理与反爬 舆情评分系统 HUANENG GUICHENG TRUST CORPORATION LTD. Python舆情监控 HUANENG GUICHENG TRUST CORPORATION LTD. 核心代码: import requests import re Headers={'User-Agent':0 码力 | 51 页 | 4.69 MB | 1 年前311 数字货币交易系统python实践 代少飞
数字货币交易系统 Python实践 代少飞 目录 CONTENTS 常见问题 数据库锁问题 任务调度框架 监控 单击此处添加标题 1 常见问题 队列数据丢失 队列挂掉 负数资产 冲钱一次,转两倍资产 用户资产 用户发现自己资产为负数 负数资产 充一次转双倍 队列数据丢失 队列挂掉 RabbitMQ 撮合或者清算队列数据丢失 订单摆上去,能交易 • 远程调用支持RPyC(一个用作远程过程调用,同时也可以用作分 布式计算的Python模块),少量代码,轻松远程调用 APscheduler+twisted 4 监控 交易系统一行代码写错,可能损失好几百万 监控 • 首先每一笔资金变动都得有变动前后的值和原因 • 挂单精度是否正确 • 一个账户,一个币种,不算手续费,初略盘点 • 利用订单客观数据(挂单价格,数量,手续费),复现交易,与交0 码力 | 21 页 | 1.77 MB | 1 年前3Python3 基础教程 - 廖雪峰
打开 Mac OS X 的 Activity Monitor,或者 Windows 的 Task Manager,都 可以监控某个进程的 CPU 使用率。 我们可以监控到一个死循环线程会 100%占用一个 CPU。 如果有两个死循环线程,在多核 CPU 中,可以监控到会占用 200%的 CPU,也就是占用两个 CPU 核心。 要想把 N 核 CPU 的核心全部跑满,就必须启动 N 个死循环线程。 cpu_count()): t = threading.Thread(target=loop) t.start() 启动与 CPU 核心数量相同的 N 个线程,在 4 核 CPU 上可以监控到 CPU 占用率仅有 102%,也就是仅使用了一核。 但是用 C、C++或 Java 来改写相同的死循环,直接可以把全部核心跑满, 4 核就跑到 400%,8 核就跑到 800%,为什么 Python com/login.html') as f: pass 小结 urllib 提供的功能就是利用程序去执行各种 HTTP 请求。如果要模拟浏 览器完成特定功能,需要把请求伪装成浏览器。伪装的方法是先监控浏 Python3 基础教程【完整版】 http://www.yeayee.com/ 339/531 览器发出的请求,再根据浏览器的请求头来伪装,User-Agent 头就是用 来标识浏览器的。0 码力 | 531 页 | 5.15 MB | 1 年前3Build Python App with Serverless 费良宏
Architect Evangelist @ (2004-2011) … Serverless 为何而生 ? 为什么需要“无服务器”? 服务部署及利用率 可用性及容错度 监控、调度 运行及管理 什么是“Serverless”? 无需管理基础设施 自动扩展 按价值付费 高可用以及安全 “无服务”是一种新的模型,它跨越许多不同类别的服务 AWS Lambda Serverless 的局限与不足 • 有限的生命周期 …… 不支持 “Long Run” 的任务 • 性能 …… “冷启动” 带来的响应延迟 • 资源限制 …… 并发、I/O、内存、程序包大小等等 • 监控与调试 …… 需要新的IDE、APM、DevOps、分析器等工具 • 缺少特定的硬件支持 ……只有通用的计算环境,缺如GPU、FPGA等支持 • 标准化 …… 可移植性的问题 “冷启动” 带来的响应延迟0 码力 | 35 页 | 7.81 MB | 1 年前3FT 03 KC 基于Python Odoo信息化平台框架
个性化开发平台-Odoo Studio 图形化可视操作 简单的鼠标拖拽即可实现 功能的开发和定义 不受产品升级的影响,自 动 升级到新版本 物联网接入 智能机床 智能仪表 视频监控 蓝牙设备 POS 机器人 Odoo 国内外平台接口-第三方应用 Odoo全球应用 Odoo平台信息化建设案例 Odoo官方-法国Toyota案例 欧度科技-消防总队管理数字化平台0 码力 | 21 页 | 1.96 MB | 1 年前33 Thautwarm 解放python的表达力 性能和安全性 语法和语义扩展 JIT 静态检查
进行编译,生成jit函数的几个method。 同时,每次编译会根据已有的所有methods,生成一 个新的method查找函数。 演示。 JIT 函数 JIT 编译器 Base Method 含监控器 参数组(int, int) 参数组(float, int) 方法查找函数 (是一个C函数) 对应 JIT 函数的调用记录器 反 馈 调 用 记 录 每N次被反馈唤醒一次JIT编译器0 码力 | 43 页 | 10.71 MB | 1 年前3Flask入门教程
join(ap p.root_path, 'data.db') app.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False # 关闭对模型 修改的监控 # 在扩展类实例化前加载配置 db = SQLAlchemy(app) 如果你固定在某一个操作系统上进行开发,部署时也使用相同的操作系统,那么可 以不用这么做,直接根据你的需要写出前缀即可。0 码力 | 127 页 | 7.62 MB | 1 年前3
共 37 条
- 1
- 2
- 3
- 4