机器学习-降维 黄海广 副教授 2 本章目录 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) 3 1.降维概述 01 降维概述 02 SVD(奇异值分解) 03 PCA(主成分分析) 4 1.降维概述 维数灾难(Curse of Dimensionality)：通常是指在涉及到向量的计算的问题 中，随着维数的增加，计算量呈指数倍增长的一种现象。 常说的维数灾难。 5 1.降维概述 维数灾难 维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库等诸 多领域。在机器学习的建模过程中，通常指的是随着特征数量的增多，计 算量会变得很大，如特征达到上亿维的话，在进行计算的时候是算不出来 的。有的时候，维度太大也会导致机器学习性能的下降，并不是特征维度 越大越好，模型的性能会随着特征的增加先上升后下降。 6 1.降维概述 什么是降维？ 降维(Dimensionality Reduction)是将训练数据中的样本(实例)从高 维空间转换到低维空间，该过程与信息论中有损压缩概念密切相 关。同时要明白的，不存在完全无损的降维。 有很多种算法可以完成对原始数据的降维，在这些方法中，降维 是通过对原始数据的线性变换实现的。 7 1.降维概述 • 高维数据增加了运算的难度 • 高维使得学习算法的泛化能力变弱（例如，在最近邻分类器中，

Go Practices in TiDB 姚维 PingCAP wink@pingcap.com Agenda ● How to build a stable database ○ Schrodinger-test platform ○ Failpoint injection ○ Goroutine-leak detection ● Optimization ○ Chunk vs interface{}

云+社区技术沙龙 腾讯智能运维（Metis）项目实践 张戎 机器学习高级研究员 张戎 腾讯云 云服务平台部 机器学习高级研究员 • 2015年毕业于新加坡国立大学数学专业，获博士学位； • 2015年加入腾讯科技（深圳）有限公司，机器学习岗位； • 智能推荐系统：神盾推荐项目，2015年7月-2016年5月 • 智能安全系统：机器学习+安全业务，2016年6月-2017年7月 • • 智能运维系统：机器学习+业务运维，2017年8月-至今 SPEAKER 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 智能运维（AIOps） 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 扩容 • 决策 • 调度 • 优化 智能运维学件库 • 可重用 • 可演进 • 可了解 智能运维学件库 智能运维能力框架体系 AIOps 团队角色划分 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 单维时间序列分析 海量时间序列 业务场景复杂 规则配置繁琐

RAINBOND安装与运维
 ——原理理经验分享 好⾬雨交付⼯工程师-郭逊 RAINBOND 线上培训（第九期） 2019/8/8 1. Rainbond安装与运维原理理解读 1.1 安装原理理 1.2 集群运维原理理 2. Rainbond安装与运维经验分享 2.1 常⻅见安装问题的排查 2.2 集群运维问题的排查 我们认为，我们应该把我们产品的原理、使⽤经验技巧、遇到问题排查思路全部
 沉淀在⽂档中。通过引导⽤户阅读⽂档，传输我们的产品理念、复制我们的运维能⼒、让⽤户
 真正掌控RAINBOND这款产品。 1. RAINBOND安装与运维原理理解读 1.1 安装原理理 Rainbond安装与运维原理理解读⽂文档 https://www.rainbond.com/docs/user-operations/install/install-d/
 健康检测的机制是什什么样的，失败了了会怎么样等等运维问题 RAINBOND 线上培训（第九期） 2019/8/8 1. RAINBOND安装与运维原理理解读 1.1 安装原理理 我除了会详细的讲解这篇⽂档，⽽且会以⼀个资深RAINBOND运维⼯程师的⾓度， 
 随时补充⽂档中没有体现的⼲货哦～～ RAINBOND 线上培训（第九期） 2019/8/8 1. RAINBOND安装与运维原理理解读 ⼲干货列列表

Serverless Kubernetes 理想，现实和未来 张维 阿里巴巴高级技术专家 观看视频回放 Serverless：关注应用而非基础设施 敏捷开发 极致弹性 成本优化 • 无需购买和安装机器 • 无需管理服务器 • 无需升级和更新OS • 快速部署和更新应用 • 快速发布 • “无限”容量 • 秒级弹性 • 更好的扩展性 • 更好的灵活性 • 按需创建 • 非预期突发流量 • 适用电商、在线教育等行业 • Spark／Presto • 高弹性低成本 • 免容量规划 • Jenkins/Gitlab-Runner • 低成本 • 强隔离 • 免运维 • 高弹性 • 低成本 Serverless Kubernetes - 在Kubernetes中使用Serverless容器 ECI ECI ECI ECI Kubernetes Cluster Pod Pod Pod Pod Pod Pod Pod Pod Pod ECS OS ASK: Serverless Kubernetes • Nodeless：简单易用，无节点管理，运维成本低 • 极致弹性: 30s 500 pod • 成本优化：按需创建，支持spot和预留实例劵 • Kubernetes兼容性： deployment/statfulset/job/service/ingress/CRD

腾讯蓝鲸智云秉承开放共赢的理念，以改变中国运维行业为起点，致力于推动国内企业借助研发运营一体化，低成本 实现企业IT经营管理模式升级和自主化。 承载数百款 腾讯业务 管控数十万 台服务器 孵化700＋ 应用系统 全球多云 管控 培养数百蓝鲸运 维开发 工具驱动运维：采用运维 开发的模式，实现所有运维任 务自动化、工具化、可视化。 数据驱动运维：基于大数据 的接入、存储、分析技术，对运 维数据进行全面挖掘和分析，实 维数据进行全面挖掘和分析，实 现数据驱动自动化运维。 机器驱动运维：基于智能算法 的机器自我学习，训练机器智能运 维模型，实现无人值守和智能的运 维与运营。 数据化 2015--2017 智能化 2017—现在 蓝鲸目前在腾讯应用情况及发展方向 4个转型的绊脚石 有重客户端游戏，网页游戏，各类官网，移动终端游戏， 大型游戏平台； 平铺式架构，拓扑关系复杂，模块数量上百，服务器数量 几千…… 是没有直观规律的。 开发商很难为了运维体系而对架构或技术做大规模的修改。 有几乎所有的业务类型 有几乎所有的流行技术 300多款游戏相互之间是没有关系的。 发布变更、故障处理等运维操作场景和操作流程是没有直 观规律的。 服务器数量，也就是操作单元，有二十余万。 随着容器技术的普及，操作单元的数量还会暴涨。 所有业务之间无关联 业务操作单元暴涨 运维转型，困难重重 蓝鲸进化第1步：抽象原子平台

杭州飞致云信息科技有限公司 1 CloudExplorer 云管理平台 部署运维手册 版本(v1.2) 杭州飞致云信息科技有限公司 2022 年 4 月 杭州飞致云信息科技有限公司 2 目录 一、概述.......................................................................................... 、服务操作、日志、监控、备份等详细 说明。CloudExplorer 云管平台采用微服务架构设计，通过本手册能快速了解 CloudExplorer 云管理平台的基础组件构成这样更方便以后在系统运维中更方便的去排查 问题、处理问题。解决了部署环境不统一、部署速度慢、遇到问题无从查起等问题。 二、逻辑架构 2.1 组件说明 CloudExplorer 平台采用 docker-compose

爱奇艺CDN运维平台实践 张强 爱奇艺基础架构部 研发总监 爱奇艺CDN运维平台实践 张强 爱奇艺基础架构部 研发总监 自我介绍 Ø 2009~2014: 在Intel中国研究中心从事移动OS相关开发工作，先后负责过移动OS Package Manager、工具链等模块的设计与研发工作 Ø 2014年加入爱奇艺，主导了CDN数据平台、CDN调度平台、CDN运维平台研发上线， 目前负责CDN相关产品开发和运维工作 目前负责CDN相关产品开发和运维工作 01 爱奇艺CDN概况 02 运维痛点分析 03 运维平台架构设计 04 平台应用&实践 05 总结&展望 目录 01 爱奇艺CDN概况 数据增长趋势 节点分层策略 CDN 节点特点 爱奇艺CDN数据增长趋势 2014 2019 2015 2018 2016 2017 CDN设备量增长8倍 分布区域增长10倍 带宽增长20倍 爱奇艺CDN节点分层 变更频繁 02 运维痛点总结 软件配置管理 运维数据统计 CDN设备管理 运维痛点 – 软件配置 连通性 不可保证 状态 不可预知 周期 不可预估 运维痛点 – 数据统计 实时性差 迭代低效 开发繁琐 CNC CT CMNET GWBN SCC IPTV 收集代理 HDFS 数据统计、展示 SSH-Based-Tools 运维痛点 – 设备管理 三大ISP

C u r v e 质 量 、 监 控 与 运 维 秦 亦 1/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系Curve 是网易针对块存储、对象存储、云原生数据库、EC等 多种场景自研的分布式存储系统：  高性能、低延迟  当前实现了高性能块存储，对接OpenStack和 K8s  网易内部线上无故障稳定运行近两年  已完整开源 质量——向用户交付稳定可靠的软件；  监控——直观地展示Curve运行状态；  运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 03 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 为了确保最终交付的软件满足需求，必须将质量控制贯穿于设计、开发到测试的整个流程中。 设计  设计流程  文档规范 开发  编码规范与提交流程  版本管理 测试  测试方法论  CI与异常测试 6/33设计流程 Cu