1 2023年04月 机器学习-聚类 黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签 函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ 无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非

基本数据类型 主讲人：龙良曲 All is about Tensor python PyTorch Int IntTensor of size() float FloatTensor of size() Int array IntTensor of size [d1, d2 ,…] Float array FloatTensor of size [d1, d2, …] string

研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排

1. OPENSHIFT CONTAINER PLATFORM 存储的常见术语表 1.2. 存储类型 1.3. CONTAINER STORAGE INTERFACE (CSI) 1.4. 动态置备 第 第 2 章 章 了解 了解临时 临时存 存储 储 2.1. 概述 2.2. 临时存储的类型 2.3. 临时存储管理 2.4. 监控临时存储 第 第 3 章 章 了解持久性存 了解持久性存储 配置 CSI 卷 5.2. CSI INLINE 临时卷 5.3. 共享资源 CSI DRIVER OPERATOR 5.4. CSI 卷快照 5.5. CSI 卷克隆 5.6. 管理默认存储类 5.7. CSI 自动迁移 5.8. 在非正常节点关闭后分离 CSI 卷 5.9. ALICLOUD DISK CSI DRIVER OPERATOR 5.10. AWS ELASTIC BLOCK 使用文件系统扩展持久性卷声明（PVC） 7.6. 在扩展卷失败时进行恢复 第 第 8 章 章 动态 动态置 置备 备 8.1. 关于动态置备 8.2. 可用的动态置备插件 8.3. 定义存储类 8.4. 更改默认存储类 176 177 179 182 185 196 196 196 196 197 197 199 199 199 200 200 201 201 203 203

MODULES/OPENSHIFT-STORAGE-COMMON-TERMS.ADOC 1.2. 存储类型 1.3. CONTAINER STORAGE INTERFACE (CSI) 1.4. 动态置备 第 第 2 章 章 了解 了解临时 临时存 存储 储 2.1. 概述 2.2. 临时存储的类型 2.3. 临时存储管理 2.4. 监控临时存储 第 第 3 章 章 了解持久性存 了解持久性存储 7.3. 定义存储类 7.4. 更改默认存储类 104 105 106 106 106 107 113 OpenShift Container Platform 4.8 存 存储 储 2 目 目录 录 3 第 1 章 OPENSHIFT CONTAINER PLATFORM 存储概述 OpenShift Container Platform 支持多种存储类型，包括内部存储和云供应商。您可以在 Red Hat OpenStack Platform (RHOSP) 的块存储服务，用于管理所有卷的管理、安全性和调度。 配置映射 配置映射 配置映射提供将配置数据注入 pod 的方法。您可以在类型为 ConfigMap 的卷中引用存储在配置映射 中的数据。在 pod 中运行的应用程序可以使用这个数据。 Container Storage Interface (CSI) 在不同容器编配 (CO)

功能配合工作。 重要 重要 使用 OpenShift Data Foundation 部署 OpenShift Virtualization 时，您必须为 Windows 虚 拟机磁盘创建一个专用存储类。详情请参阅为 Windows 虚拟机优化 ODF PersistentVolume。 您可以将 OpenShift Virtualization 与 OVN-Kubernetes、OpenShiftSDN或认证的 单节点集群没有针对高可用性操作配置，这会导致 OpenShift Virtualization 行为 有显著变化。 现在，为所有 OpenShift Virtualization control plane 组件定义了资源请求和优先级类。 3.3.3. 网络 现在，您可以使用一个 NodeNetworkConfigurationPolicy 清单同时配置多个支持的节点。 现在，附加到 SR-IOV 网络接口的虚拟机不默认支持实时迁移。 在以后的发行版本中，对旧的 HPP 自定义资源的支持以及关联的存储类将被弃用。从 OpenShift Virtualization 4.10 开始，HPP Operator 使用 Kubernetes Container Storage Interface(CSI)驱动 程序来配置本地存储。Operator 继续支持 HPP 自定义资源及关联的存储类的现有（传统）格 式。如果使用 HPP Operator，请计划作为迁移策略的一部分为

3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch 基础 4.1 数据类型 4.2 数值精度 4.3 待优化张量 4.4 创建张量 预览版202112 4.5 张量的典型应用 4.6 索引与切片 4.7 维度变换 4.8 Broadcasting 9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9

功能配合工作。 重要 重要 使用 OpenShift Data Foundation 部署 OpenShift Virtualization 时，您必须为 Windows 虚 拟机磁盘创建一个专用存储类。详情请参阅为 Windows 虚拟机优化 ODF PersistentVolume。 您可以将 OpenShift Virtualization 与 OVN-Kubernetes、OpenShift Container Platform 的最新版本。 1.2. 关于虚拟机磁盘的存储卷 如果您将存储 API 与已知的存储供应商搭配使用，则会自动选择卷和访问模式。但是，如果您使用没有存 储配置集的存储类，则必须选择卷和访问模式。 要获得最佳结果，请使用 accessMode: ReadWriteMany 和 volumeMode: Block。这一点非常重要： 第 第 1 章 章 关于 关于 OPENSHIFT 操作系统 操作系统名称 CPU|内存 点编辑图标编辑 CPU|Memory 请求。 CPU 数量通过以下公式来计算： socket * threads * core。 机器类型 VirtualMachine 集群类型 OpenShift Container Platform 4.13 虚 虚拟 拟化 化 24 引导模式 点编辑图标编辑引导模式。 以 pause 模式启动 点编辑图标启用此设置。

2.5.5. 卸载 Vertical Pod Autoscaler Operator 2.6. 为 POD 提供敏感数据 2.6.1. 了解 secret 2.6.1.1. secret 的类型 2.6.1.2. Secret 数据密钥 9 9 9 9 9 10 10 10 10 11 12 12 12 12 15 15 15 15 16 16 17 18 19 19 20 设备插件部署方法 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2.9.2. 了解 pod 抢占 2.9.2.1. Pod 抢占和其他调度程序设置 2.9.2.2. 安全终止被抢占的 pod 2.9.3. 配置优先级和抢占 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.5.3.2. 了解过量使用和服务质量类 7.5.3.2.1. 了解如何为不同的服务质量层级保留内存 7.5.3.3. 了解交换内存和 QoS 7.5.3.4. 了解节点过量使用 7.5.3.5. 使用 CPU CFS 配额禁用或强制实施

OPENSHIFT CONTAINER PLATFORM 集群支持的平台 第 第 2 章 章 选择 选择集群安装方法并 集群安装方法并为 为用 用户 户准 准备 备它 它 2.1. 选择集群安装类型 2.2. 安装后为用户准备集群 2.3. 为工作负载准备集群 2.4. 支持的用于不同平台的安装方法 第 第 3 章 章 集群功能 集群功能 3.1. 选择集群功能 3.2. OPENSHIFT 集群注册，将集群身份与您的红帽帐户相关联，以便收集使用指标。 在 OpenShift Container Platform 4.13 中，安装程序是对一组资产执行一系列文件转换的 Go 二进制文 件。与安装程序交互的方式因您的安装类型而异。考虑以下安装用例： 要使用 Assisted Installer 部署集群，您可以使用 Assisted Installer 配置集群设置。没有安装程序 可以下载和配置。设置完集群配置后，您可以下载发现 Bootstrap 机 器、网络、负载均衡、存储和独立的集群机器。 对于安装程序，在安装过程中会使用三组文件：名为 install-config.yaml 的安装配置文件、Kubernetes 清单，以及您的集群类型的 Ignition 配置文件。 重要 重要 在安装过程中，您可以修改控制基础 RHCOS 操作系统的 Kubernetes 和 Ignition 配置文 件。但是，没有可用的验证机制来确认您对