Keras: 基于 Python 的深度学习库
要在不同的输入上共享同一个层,只需实例化该层一次,然后根据需要传入你想要的输入 即可: # 这一层可以输入一个矩阵,并返回一个 64 维的向量 shared_lstm = LSTM(64) # 当我们重用相同的图层实例多次,图层的权重也会被重用 (它其实就是同一层) encoded_a = shared_lstm(tweet_a) encoded_b = shared_lstm(tweet_b) # 然后再连接两个向量: 让我们暂停一会,看看如何读取共享层的输出或输出尺寸。 3.2.6 层「节点」的概念 每当你在某个输入上调用一个层时,都将创建一个新的张量(层的输出),并且为该层添加 一个「节点」,将输入张量连接到输出张量。当多次调用同一个图层时,该图层将拥有多个节点 索引 (0, 1, 2…)。 在之前版本的 Keras 中,可以通过 layer.get_output() 来获得层实例的输出张量,或者通 过 layer.output_shape set_weights(weights): 从含有 Numpy 矩阵的列表中设置层的权重(与 get_weights 的输出形状相同)。 • layer.get_config(): 返回包含层配置的字典。此图层可以通过以下方式重置: layer = Dense(32) config = layer.get_config() reconstructed_layer = Dense.from_config(config)0 码力 | 257 页 | 1.19 MB | 1 年前3动手学深度学习 v2.0
01的正态分布中随机采 样,偏置参数将初始化为零。 正如我们在构造nn.Linear时指定输入和输出尺寸一样,现在我们能直接访问参数以设定它们的初始值。我 们通过net[0]选择网络中的第一个图层,然后使用weight.data和bias.data方法访问参数。我们还可以使用 替换方法normal_和fill_来重写参数值。 net[0].weight.data.normal_(0, 0 这意味着输出的高度和宽度将分别增加ph和pw。 在许多情况下,我们需要设置ph = kh − 1和pw = kw − 1,使输入和输出具有相同的高度和宽度。这样可以在 构建网络时更容易地预测每个图层的输出形状。假设kh是奇数,我们将在高度的两侧填充ph/2行。如果kh是 偶数,则一种可能性是在输入顶部填充⌈ph/2⌉行,在底部填充⌊ph/2⌋行。同理,我们填充宽度的两侧。 卷积神经网络中卷 而我们的机器学习任务通常会跟全局图像的问题有关(例如,“图像是否包含一只猫呢?”),所以我们最后一 层的神经元应该对整个输入的全局敏感。通过逐渐聚合信息,生成越来越粗糙的映射,最终实现学习全局表 示的目标,同时将卷积图层的所有优势保留在中间层。 此外,当检测较底层的特征时(例如 6.2节中所讨论的边缘),我们通常希望这些特征保持某种程度上的平 移不变性。例如,如果我们拍摄黑白之间轮廓清晰的图像X,并将整个图像向右移动一个像素,即Z[i0 码力 | 797 页 | 29.45 MB | 1 年前3OpenShift Container Platform 4.14 发行注记
备用身份验证供应商 支持 支持 使用 Local Storage Operator 自动设备发现 不支持 支持 使用机器健康检查功能自动修复损坏的机器 不支持 不支持 IBM Cloud 的云控制器管理器 支持 不支持 在节点上控制过量使用和管理容器密度 不支持 不支持 Cron 作业 支持 支持 Descheduler 支持 支持 Egress IP 支持 支持 加密数据存储在 etcd OpenShift Local 不支持 不支持 Scheduler 配置集 支持 支持 流控制传输协议 (SCTP) 支持 支持 支持多个网络接口 支持 支持 三节点集群支持 支持 支持 拓扑管理器 支持 不支持 SCSI 磁盘中的 z/VM 模拟 FBA 设备 不支持 支持 4K FCP 块设备 支持 支持 功能 功能 IBM Power® IBM Z® 和 和 IBM® LinuxONE 例如,在某些情况下,最好在单个 NUMA 节点上为 pod 最大化 CPU 和内存资源。如果没有为 Topology Manager 提供有关 pod 的 SR-IOV 网络资源的 NUMA 节点的提示,拓扑管理器可能会将 SR-IOV 网络资 源和 pod CPU 和内存资源部署到不同的 NUMA 节点。在以前的 OpenShift Container Platform 版本 中,Topology Manager0 码力 | 73 页 | 893.33 KB | 1 年前3OpenShift Container Platform 4.10 可伸缩性和性能
自定义调整示例 4.7. 支持的 TUNED 守护进程插件 第 第 5 章 章 使用 使用 CPU MANAGER 和拓扑管理器 和拓扑管理器 5.1. 设置 CPU MANAGER 5.2. 拓扑管理器策略 5.3. 设置拓扑管理器 5.4. POD 与拓扑管理器策略的交互 第 第 6 章 章 调 调度 度 NUMA 感知工作 感知工作负载 负载 6.1. 关于 NUMA 感知调度 可伸 可伸缩 缩性和性能 性和性能 18 Operator 状态错误日志 警告 警告 自动清除可能会导致各种 OpenShift 核心组件中的领导选举失败,如 Kubernetes 控 制器管理器,这会触发重启失败的组件。重启会有危害,并会触发对下一个正在运行 的实例的故障切换,或者组件在重启后再次恢复工作。 成功 成功进 进行碎片 行碎片处 处理的日志 理的日志输 输出示例 出示例 进 MANAGER 和拓扑管理器 CPU Manager 管理 CPU 组并限制特定 CPU 的负载。 CPU Manager 对于有以下属性的负载有用: 需要尽可能多的 CPU 时间。 对处理器缓存丢失非常敏感。 低延迟网络应用程序。 需要与其他进程协调,并从共享一个处理器缓存中受益。 拓扑管理器(Topology Manager)从 CPU Manager、设备管理器和其他 Hint 提供者收集提示信息,以0 码力 | 315 页 | 3.19 MB | 1 年前3OpenShift Container Platform 4.6 节点
使用配置映射将内容注入卷 2.8. 使用设备插件来利用 POD 访问外部资源 2.8.1. 了解设备插件 设备插件示例 2.8.1.1. 设备插件部署方法 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2.9 KubeVirt 设备 设备插件: 插件:vfio 和 和 kvm 注意 注意 对 对于 于简单设备 简单设备插件参考 插件参考实现 实现, ,设备 设备管理器代 管理器代码 码中提供了一个存根 中提供了一个存根设备 设备插 插 件: 件:vendor/k8s.io/kubernetes/pkg/kubelet/cm/deviceplugin/device_plugin_stub 尝试在 在节 节点上的 点上的 /var/lib/kubelet/device-plugin/ 创 创建一个 建一个 UNIX 域套 域套 接字,以服 接字,以服务 务来自于 来自于设备 设备管理器的 管理器的 RPC。 。 由于 由于设备 设备插件必 插件必须 须管理硬件 管理硬件资 资源、主机文件系 源、主机文件系统 统的 的访问权 访问权以及套接字 以及套接字创0 码力 | 404 页 | 3.60 MB | 1 年前3Hadoop 概述
NAMENODE 备用 NAMENODE 调度器 共享编辑日志 或者 JOURNAL NODE 从节点 容器 容器 容器 资源管理器 数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 理器的灵活性使其能利用自身的影响力来挑战现有系统。通过将数 据 有什么诱人的特点或是性质?其中两个重要的部分是资 源管理器和节点管理器。让我们来勾勒 YARN 的框架。首先考虑一 个两层的群集,其中资源管理器在顶层(每个群集中只有一个)。资 Hadoop 大数据解决方案 6 源管理器是主节点。它了解从节点所在的位置(较底层)以及它们拥 有多少资源。它运行了多种服务,其中最重要的是用于决定如何分 配资源的资源调度器。节点管理器(每个群集中有多个)是此基础设 施的从节点。当开始运行时,它向资源管理器声明自己。此类节点 有能力向群集提供资源,它的资源容量即内存和其他资源的数量。 在运行时,资源调度器将决定如何使用该容量。Hadoop 2 中的 YARN 框架允许工作负载在各种处理框架之间动态共享群集资源,这些框 架包括 MapReduce、Impala 和 Spark。YARN 目前用于处理内存和 CPU,并将在未来用于协调其他资源,例如磁盘和网络0 码力 | 17 页 | 583.90 KB | 1 年前3OpenShift Container Platform 4.9 节点
使用配置映射将内容注入卷 2.8. 使用设备插件通过 POD 访问外部资源 2.8.1. 了解设备插件 设备插件示例 2.8.1.1. 设备插件部署方法 2.8.2. 了解设备管理器 2.8.3. 启用设备管理器 2.9. 在 POD 调度决策中纳入 POD 优先级 2.9.1. 了解 pod 优先级 2.9.1.1. Pod 优先级类 2.9.1.2. Pod 优先级名称 2.9 设备插件 kubevirt 设备插件: vfio 和 kvm 用于 IBM Crypto Express (CEX)卡的 Kubernetes 设备插件 注意 注意 对于简单设备插件参考实现,设备管理器代码中有一个存根设备插件: vendor/k8s.io/kubernetes/pkg/kubelet/cm/deviceplugin/device_plugin_stub.go。 2.8.1.1. /var/lib/kubelet/device-plugin/ 创建一个 UNIX 域套接 字,以服务来自设备管理器的 RPC。 由于设备插件必须管理硬件资源、主机文件系统的访问以及套接字创建,它们必须在特权安全上 下文中运行。 有关部署步骤的更多细节,请参阅每个设备插件实施。 2.8.2. 了解设备管理器 设备管理器提供了一种使用称为设备插件的插件来广告专用节点硬件资源的机制。 您可以公告专用的硬件,而不必修改任何上游代码。0 码力 | 374 页 | 3.80 MB | 1 年前3OpenShift Container Platform 4.14 存储
保调度容器的资源请求总和小于节点的容量。在这种情况下,只有在可用临时存储(可分配资源)超过 4GiB 时,pod 才能分配给节点。 其次,在容器级别上,因为第一个容器设置了资源限值,kubelet 驱除管理器会测量此容器的磁盘用量, 并在此容器的存储使用量超过其限制时驱除 pod (4GiB)。在 pod 级别,kubelet 通过添加该 pod 中所有 容器的限制来达到总体 pod 存储限制。在本例中,pod 之前创建的 PersistentVolumeClaim 对象的名称。 4.12.3. 使用逻辑卷管理器存储的持久性存储 逻辑卷管理器存储 (LVM Storage) 使用 TopoLVM CSI 驱动程序在单节点 OpenShift 集群中动态置备本地 存储。 LVM Storage 使用逻辑卷管理器创建精简配置的卷,并在有限的资源单节点 OpenShift 集群中提供块存 储的动态置备。 4 当设备成为 LVMCluster CR 的一部分时,无法删除它。 4.12.3.1.2. 限制 限制 对于部署单节点 OpenShift,LVM Storage 有以下限制: 总存储大小受底层逻辑卷管理器(LVM)精简池的大小以及过度置备因素的限制。 逻辑卷的大小取决于物理扩展(PE)和逻辑扩展(LE)的大小。 在创建物理和虚拟设备期间,可以定义 PE 和 LE 的大小。 默认的 PE 和 LE0 码力 | 215 页 | 2.56 MB | 1 年前3OpenShift Container Platform 4.7 架构
所有生产部署都必须使用三个 control plane 节点。 master 上属于 Kubernetes 类别的服务包括 Kubernetes API 服务器、etcd、Kubernetes 控制器管理器和 Kubernetes 调度程序。 表 表 4.1. 在 在 control plane 上 上运 运行的 行的 Kubernetes 服 服务 务 组 组件 件 描述 描述 Kubernetes 为集群的共享状态提供了一个焦点。 etcd etcd 存储持久 master 状态,其他组件则监视 etcd 的更改,以使其自身进 入指定状态。 Kubernetes 控制器管理器 Kubernetes 控制器管理器监视 etcd 是否有对象的更改,如复制、命名空 间,务帐户控制器对象,然后使用 API 来强制实施指定的状态。多个这样 的过程会创建在某个时间点上有一个活跃群首的集群。 Kubernetes 服务器由 OpenShift API Server Operator 管理。 OpenShift 控制器管理器 OpenShift 控制器管理器监视 etcd 是否有 OpenShift 对象的更改,如项 目、路由和模板控制器对象,然后使用 API 来强制实施指定的状态。 OpenShift 控制器管理器由 OpenShift Controller Manager Operator 管 理。 OpenShift0 码力 | 55 页 | 1.16 MB | 1 年前3OpenShift Container Platform 4.10 架构
所有生产部署都必须使用三个 control plane 节点。 master 上属于 Kubernetes 类别的服务包括 Kubernetes API 服务器、etcd、Kubernetes 控制器管理器和 Kubernetes 调度程序。 表 表 5.1. 在 在 control plane 上 上运 运行的 行的 Kubernetes 服 服务 务 组 组件 件 描述 描述 Kubernetes 为集群的共享状态提供了一个焦点。 etcd etcd 存储持久 master 状态,其他组件则监视 etcd 的更改,以使其自身进 入指定状态。 Kubernetes 控制器管理器 Kubernetes 控制器管理器监视 etcd 是否有对象的更改,如复制、命名空 间,务帐户控制器对象,然后使用 API 来强制实施指定的状态。多个这样 的过程会创建在某个时间点上有一个活跃群首的集群。 Kubernetes 服务器由 OpenShift API Server Operator 管理。 OpenShift 控制器管理器 OpenShift 控制器管理器监视 etcd 是否有 OpenShift 对象的更改,如项 目、路由和模板控制器对象,然后使用 API 来强制实施指定的状态。 OpenShift 控制器管理器由 OpenShift Controller Manager Operator 管 理。 OpenShift0 码力 | 63 页 | 1.40 MB | 1 年前3
共 54 条
- 1
- 2
- 3
- 4
- 5
- 6