机器学习课程-温州大学-时间序列总结
1 2022年01月 时间序列总结 黄海广 副教授 2 学习目标 了解 什么是时间序 列,ARIMA 1 2 掌握 时间序列的基本 操作 掌握 时期,重采样 3 4 熟悉 滑动窗口的使用 3 目录 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 4 1.时间序列的基本操作 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口 06 时序模型—ARIMA 5 问题 思考: 什么是时间序列? 6 时间序列的概念 时间序列是指多个时间点上形成的数值序列,它既可 以是定期出现的,也可以是不定期出现的。 7 时间序列的数据种类 时间序列的数据种类 时间序列的数据主要有以下几种: 时间戳 表示特定的时刻 ,比如现在 时期 比如2018年或者 2018年10月 时间间隔 由起始时间戳和 结束时间戳表示 8 创建时间序列 Pandas中,时间戳使用Timestamp(Series派生的子 类)对象表示。 该对象与datetime具有高度的兼容性,可以直接通过 to_datetime()函数将datetime转换为TimeStamp对象。0 码力 | 67 页 | 1.30 MB | 1 年前3时间序列预测
时间序列预测 主讲人:龙良曲 Predict next Sample data Network Train Predict 下一课时 RNN训练难题 Thank You.0 码力 | 9 页 | 572.18 KB | 1 年前3时间序列表示
时间序列表示 主讲人:龙良曲 Spatial Signals Temporal Signals? Sequence http://slazebni.cs.illinois.edu/spring17/lec02_rnn.pdf Sequence representation ▪ [seq_len, feature_len] [100, 1] [28, 28] [words, word_vec]0 码力 | 14 页 | 1.16 MB | 1 年前3杨赛赛-基于深度学习的多维时间序列预测在数据机房中的应用
PYCON CHINA 基于深度学习的多维时间序列 预测在数据机房中的应用 目 录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电?怎么优化节能? 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散 节能调节 3. 研究内容 ⚫ 时间序列预测方法的比较 传统时间序列预测 ⚫ 对单个维度历史信息进行 预测 ⚫ 捕获简单线性关系,模型 简单 ⚫ 代表算法有AR, ARIMA 基于深度学习的 时间序列预测 ⚫ 利用多维时间序列之间的 信息 ⚫ 对变周期序列,多维空间 依赖序列预测较弱 ⚫ 代表算法有RNN,LSTM 混合多维时间序列预测 ⚫ 提取多维序列之间更加复杂 的关系 ⚫ 提取维度之间空间依赖关系, 提取维度之间空间依赖关系, 长短期依赖关系 ⚫ 算法有LSTNet,TPA-LSTM 多维时间序列预测方法解决机房温度预测 对数据包含的信息提取能力越来越强 选择 LSTNet 作为温度预测建模算法 ⚫ Convolutional Layer 捕捉时间维度上的短期依赖和维度之间的空间依赖关系 ⚫ Recurrent and Recurrent-skip layer 捕捉长期宏观依赖和周期性信息0 码力 | 17 页 | 2.49 MB | 1 年前3Pod 容忍节点异常时间调整
Pod 容忍节点异常时间调整 容忍节点异常时间调整 1. 原理说明 原理说明 Kubernetes 集群节点处于异常状态之后需要有⼀个等待时间,才会对节点上的 Pod 进⾏驱逐。那么针对部分关键业务,是否可以调整这个时间,便于在节点发⽣异常时及时将 Pod 驱逐 并在别的健康节点上重建? 要解决这个问题,我们⾸先要了解 Kubernetes 在节点异常时驱逐 Pod 的机制。 在 Kubernetes 参数,指定当节点出现异常(如 NotReady)时 Pod 还将在这个节点上运⾏多⻓的时间。 那么,节点发⽣异常到 Pod 被驱逐的时间,就取决于两个参数:1. 节点实际异常到被判断为不健康的时间;2. Pod 对节点不健康的容忍时间。 Kubernetes 集群中默认节点实际异常到被判断为不健康的时间为 40s,Pod 对节点 NotReady 的容忍时间为 5min,也就是说,节点实际异常 5min40s(340s)后,节点上的 调整节点被标记为不健康的时间 调整节点被标记为不健康的时间 ControllerManager 参数 --node-monitor-grace-period 控制了在将⼀个节点标记为不健康之前允许其⽆响应的时⻓上限,该参数默认值为 40s,且必须⽐ Kubelet 的 nodeStatusUpdateFrequency 参数(Kubelet 向主控节点汇报节点状态的时间间隔)⼤ N 倍; 这⾥0 码力 | 4 页 | 104.64 KB | 1 年前3机器学习课程-温州大学-11深度学习-序列模型
2023年05月 深度学习-序列模型 黄海广 副教授 2 03 长短期记忆(LSTM) 04 双向循环神经网络 本章目录 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 3 03 长短期记忆(LSTM) 04 双向循环神经网络 1.序列模型概述 01 序列模型概述 02 循环神经网络(RNN) 循环神经网络(RNN) 05 深层循环神经网络 4 1.序列模型概述 循环神经网络(RNN)之类的模型在语音识别、自然语言处理和 其他领域中引起变革。 5 数学符号 在这里?<1>表示Harry这个单词,它就是一个第 4075行是1,其余值都是0的向量(上图编号1所示 ),因为那是Harry在这个词典里的位置。 ?<2>是第6830行是1,其余位置都是0的向量(上 图编号2所示)。 基于语言模型(LM),故可以捕捉时序规则信息 它是如何实现的? 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2.循环神经网络(RNN) 01 序列模型概述 02 循环神经网络(RNN) 05 深层循环神经网络 8 2.循环神经网络(RNN) ?<1> = ?1(????<0> + ????<1> + ??) ̰? <1>0 码力 | 29 页 | 1.68 MB | 1 年前3Borsh 安全高效的二进制序列化
第三届中国 Rust 开发者大会 安全高效的二进制序列化 Daniel Wang @ NEAR Borsh • 运行、编码效率 • 确定性 • 跨平台兼容性 二进制序列化的问题 Binary Object Representation Serializer for Hashing • 字节级别确定性 • 执行速度快 Borsh • 轻量级 • 每一个对象与其二进制表示之间都存在一个双射映射 中, borsh 并没有使用 serde • 全部逻辑原生实现 • 序列化、反序列化速度大幅领先其他解决方案 执行速度 执行速度 benchmark 执行速度 benchmark 执行速度 benchmark 执行速度 benchmark • 编译后的体积更小 • borsh 序列化后的二进制更精简 轻量级 序列化结果体积对比 Borsh 基本用法 Case Study NEAR NEAR 智能合约 Case Study Solana 智能合约 Case Study • non self-describing • 保证序列化后的二进制唯一性和确定性 • 主要序列化规则 Borsh 规范 • 整数采用低字节序( little endian) 存储 • 对于动态长度的集合,先用一个 u32 存储集合 size • 对于原本无序的集合(如 hashmap ),存储时使用0 码力 | 21 页 | 3.35 MB | 1 年前3一次线上java 应用响应时间过长问题的排查
链滴 一次线上 java 应用响应时间过长问题的排查 作者:xinzhongtianxia 原文链接:https://ld246.com/article/1569574881351 来源网站:链滴 许可协议:署名-相同方式共享 4.0 国际 (CC BY-SA 4.0)最近接手一个老 java 应用,没多久接到响应时间太长的报警,整个排查过程还是挺有意思的, 录一下。
整个过程中,设计到 cpu,内存,垃圾回收,引用,spring, 单例 等等知识,整个下来,心情愉悦。< p>接到报警
吃完晚饭回来,接到报警短信,服务响应时间太长,达到 2s 以上。
第一反应,怎么可能,这个应用很简单,就提供了几个查询接口,QPS id="垃圾回收">垃圾回收看垃圾回收日志,发现一直在进行 Full GC,但是几乎没啥效果,GC 完了,老年代依然是几乎 满的状态。
即使是 CMS,也不能避免传说中的 stop the world,所以响应时间变长了。
但是,现在问题来了,Full GC 回收不掉的对象都是啥啥啥?分析 java 堆内存
先把线上流量从这台机器切走,然后
0 码力 | 3 页 | 247.74 KB | 1 年前3动手学深度学习 v2.0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287 vi 8 循环神经网络 289 8.1 序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8 3 自然语言统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.4 读取长序列数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 8.4 循环神经网络 . . . 8.7 通过时间反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329 8.7.1 循环神经网络的梯度分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330 8.7.2 通过时间反向传播的细节0 码力 | 797 页 | 29.45 MB | 1 年前3高效智能运维[云+社区技术沙龙第29期] - 腾讯智能运维(Metis)项目实践
智能运维系统:机器学习+业务运维,2017年8月-至今 SPEAKER 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 智能运维(AIOps) 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 • 关联事件分析 • 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 单维时间序列分析 海量时间序列 业务场景复杂 规则配置繁琐 1 2 3 时间序列异常检测 如何找到通用的解决方案? 单维时间序列分析 规则类告警策略 最大值告警 最小值告警 波动率告警 单维时间序列分析 无监督异常检测算法 (自编码器) (自编码器) 原始数据 生成数据 单维时间序列分析 无监督异常检测算法 (N-Sigma) 单维时间序列分析 有监督异常检测算法 (特征工程) 时间序列的统计特征 • 最大值,最小值,值域 • 均值,中位数 • 方差,偏度,峰度 • 同比,环比,周期性 • 自相关系数,变异系数 时间序列的拟合特征 • 移动平均算法 • 带权重的移动平均算法 • 指数移动平均算法0 码力 | 28 页 | 1.88 MB | 1 年前3
共 1000 条
- 1
- 2
- 3
- 4
- 5
- 6
- 100