MathWorks, Inc. MATLAB与Spark/Hadoop相集成：实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 SPMD and Distributed Arrays ▪ MapReduce ▪ MapReduce (MDCS/PCT) ▪ MATLAB API for Spark API ▪ Tall Arrays ▪ 计算 ▪ Desktop (Multicore, GPU) ▪ Clusters ▪ Cloud Computing (MDCS on EC2) ▪ Hadoop 6 tall arrays ▪ tall array – 一种新的数据类型，专门用于处理大数据. – 用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ▪ 使用方式等同于MATLAB 数组(array) – 支持数据类型包括数值型、字符串、时间类型、表等… – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归 7 tall array

为了能够完成各种数据操作，我们需要某种方法来存储和操作数据。通常，我们需要做两件重要的事：（1） 获取数据；（2）将数据读入计算机后对其进行处理。如果没有某种方法来存储数据，那么获取数据是没有意 义的。 首先，我们介绍n维数组，也称为张量（tensor）。使用过Python中NumPy计算包的读者会对本部分很熟悉。 无论使用哪个深度学习框架，它的张量类（在MXNet中为ndarray，在PyTorch和TensorFlow中为Tensor）都 关经验，想要深入学习数学内容，可以跳过本节。 首先，我们导入torch。请注意，虽然它被称为PyTorch，但是代码中使用torch而不是pytorch。 import torch 张量表示一个由数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）； 具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。 首先，我们可以使用 arange , 1., 1., 1.], [1., 1., 1., 1.], [1., 1., 1., 1.]]]) 有时我们想通过从某个特定的概率分布中随机采样来得到张量中每个元素的值。例如，当我们构造数组来作 为神经网络中的参数时，我们通常会随机初始化参数的值。以下代码创建一个形状为（3,4）的张量。其中的 每个元素都从均值为0、标准差为1的标准高斯分布（正态分布）中随机采样。 torch.randn(3

NumPy数组(ndarry)对象 03 ufunc函数 04 NumPy的函数库 3 1.NumPy概述 01 NumPy概述 02 NumPy数组(ndarry)对象 03 ufunc函数 04 NumPy的函数库 4 NumPy(Numeric Python)是Python的一种开源的数值计算扩展库。 它包含很多功能： · 创建n维数组（矩阵） 创建n维数组（矩阵） · 对数组进行函数运算 · 数值积分 · 线性代数运算 · 傅里叶变换 · 随机数产生 ······ NumPy是什么？ 5 NumPy提供了许多高级的数值编程工具，如：矩阵数据类型、矢量处 理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大 型金融公司使用，以及核心的科学计算组织如：Lawrence Livermore， NASA 用其处理一些本来使用 C++，Fortran 标准的Python中用list（列表）保存值，可以当做数组使用，但因为列表 中的元素可以是任何对象，所以浪费了CPU运算时间和内存。 NumPy诞生为了弥补这些缺陷。它提供了两种基本的对象： ndarray：全称（n-dimensional array object）是储存单一数据类型的 多维数组。 ufunc：全称（universal function object）它是一种能够对数组进行处 理的函数。 NumPy的官方文档：

optimizers.SGD(lr=0.01, momentum=0.9, nesterov=True)) 现在，你可以批量地在训练数据上进行迭代了： # x_train 和 y_train 是 Numpy 数组 -- 就像在 Scikit-Learn API 中一样。 model.fit(x_train, y_train, epochs=5, batch_size=32) 或者，你可以手动地将批次的数据提供给模型： model.compile(optimizer='rmsprop', loss='binary_crossentropy', loss_weights=[1., 0.2]) 我们可以通过传递输入数组和目标数组的列表来训练模型： model.fit([headline_data, additional_data], [labels, labels], epochs=50, batch_size=32) get_weights(): 返回模型权重的张量列表，类型为 Numpy array。 • model.set_weights(weights): 从 Nympy array 中为模型设置权重。列表中的数组必须与 get_weights() 返回的权重具有相同的尺寸。 • model.to_json(): 以 JSON 字符串的形式返回模型的表示。请注意，该表示不包括权重， 只包含结构。你可以通过以下代码，从

spec.clusterNet work 数 数组 组 用于指定从哪些 IP 地址块分配 Pod IP 地址以及分配给集群中每个 节点的子网前缀长度的列表。例如： 此值是只读的，在集群安装过程中从名为 cluster 的 Network.config.openshift.io 对象继承。 spec.serviceNet work 数 数组 组 服务的 IP 地址块。OpenShift SDN 6081 OpenShift Container Platform 4.6 网 网络 络 18 1 2 3 proxyArguments.iptables- min-sync-period 数 数组 组 刷新 iptables 规则前的最短时长。此字段确保刷新的 频率不会过于频繁。有效的后缀包括 s、m 和 h，具 体参见 Go time 软件包。默认值为： 字段 字段 类 类型 型 描述 描述 6 7 8 9 10 11 12 13 1 为 PtpConfig CR 指定名称。 指定安装 PTP Operator 的命名空间。 指定包括一个或多个 profile 的数组。 指定用于唯一标识配置集（profile）对象的配置集对象名称。 指定 ptp4l 服务要使用的网络接口名称，如 ens787f1。 为 ptp4l 服务指定系统配置选项，如 -s -2。这不应该包含接口名称

代表连接测试条件和最近连接发生和失败的日志的对 象。 status.conditions 数 数组 组 连接检查以及任何之前的状态的最新状态。 status.failures 数 数组 组 连接测试日志不会失败。 status.outages 数 数组 组 涵盖任何中断的时间连接测试日志。 status.successes 数 数组 组 成功尝试的连接测试日志。 字段 字段 类 类型 型 描述 描述 下表描述了 类型 型 描述 描述 end 字符串 字符串 连接失败时的时间戳。 endLogs 数 数组 组 连接日志条目，包括与成功关闭相关的日志条目。 message 字符串 字符串 以人类可读格式显示停机详情概述。 开始 开始 字符串 字符串 第一次检测到连接失败时的时间戳。 startLogs 数 数组 组 连接日志条目，包括原始失败。 连 连接日志字段 接日志字段 下表中描述了连接日志条目的字段。该对象用于以下字段： 网络 络 92 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 PtpConfig CR 的名称。 指定包括一个或多个 profile 的数组。 指定唯一标识配置集对象的配置集对象名称。 指定 ptp4l 服务要使用的网络接口名称，如 ens787f1。 为 ptp4l 服务指定系统配置选项，例如 -2 来选择 IEEE 802.3

archiveSize 镜像集中的每个存档文件的最大大小（以 GiB 为单位）。 整数.例如： 4 mirror 镜像集的配置。 对象 mirror.additionalImages 镜像集的额外镜像配置。 对象数组。例如： mirror.additionalImages.name 要 mirror 的镜像的标签或摘要。 字符串.例如： registry.redhat.i o/ubi8/ubi:latest mirror 的镜像的完整标签、摘要或模 式。 字符串数组。例 如： docker.io/librar y/alpine mirror.helm 镜像集的 helm 配置。请注意，oc-mirror 插件只支持 helm chart，在呈现时不需要 用户输入。 对象 mirror.helm.local 要镜像的本地 helm chart。 对象数组。例如： mirror.helm.local.name helm chart 的路径。 字符串.例如： /test/podinfo- 5.0.0.tar.gz。 mirror.helm.repositories 从其中镜像的的远程 helm 软件仓库。 对象数组。例如： mirror.helm.repositories.name 从其中镜像(mirror)的 helm 存储库的名 称。 字符串.例如： podinfo。 参数 参数 描述 描述 值 值

networking.clusterN etwork pod 的 IP 地址块。 默认值为 10.128.0.0/14，主机前缀为 /23。 如果您指定多个 IP 地址块，则块不得互 相重叠。 一个对象数组。例如： networking.clusterN etwork.cidr 使用 networking.clusterNetwork 时需要此项。IP 地址块。 一个 IPv4 网络。 使用 CIDR OVN-Kubernetes 网 络供应商只支持服务网络的一个 IP 地址 块。 CIDR 格式具有 IP 地址块的数组。例 如： networking.machine Network 机器的 IP 地址块。 如果您指定多个 IP 地址块，则块不得互 相重叠。 一个对象数组。例如： networking.machine Network.cidr 使用 networking.machineNetwork 添加到节点可信证书存储中的 PEM 编 码 X.509 证书捆绑包。配置了代理时， 也可以使用这个信任捆绑包。 字符串 compute 组成计算节点的机器的配置。 MachinePool 对象的数组。详情请查 看以下"Machine-pool"表。 compute.architectur e 决定池中机器的指令集合架构。目前不 支持异构集群，因此所有池都必须指定 相同的架构。有效值为 amd64

现对整个计算图参数的评估优化。但是到底什么是张量？可以 看下面这张图： 图 1-3（张量表示） PyTorch + OpenVINO 开发实战系列教程 第一篇 5 上图 1-3 中标量、向量、数组、3D、4D、5D 数据矩阵在深 度学习框架中都被称为张量。可见在深度学习框架中所有的数 据都是张量形式存在，张量是深度学习数据组织与存在一种数 据类型。 ● 算子 / 操作数 深度学习 是 torch.FloatTensor 的别名，所以默认的 数据类型是 flaot32，这点从 a.dtype 的打印结果上也得了印 证。此外 torch.Tensor 函数还支持从 Numpy 数组直接转换 为张量数据，这种定义声明张量数据的代码如下： b = torch.tensor(np.array([[1,2],[3,4],[5,6],[7, 8]])) print(b) 运行结果： [7, 8]], dtype=torch.int32) 根据数据类型的自动识别，转换为 torch.int32 的数据类型。 除了直接声明常量数组的方式，Pytorch 框架还支持类似 Matlab 方式的数组初始化方式，可以定义数组的维度，然后 初始化为零，相关的演示代码如下： c = torch.zeros([2, 4], dtype=torch.float32) print(c)

networking.clusterNe twork pod 的 IP 地址块。 默认值为 10.128.0.0/14，主机前缀为 /23。 如果您指定多个 IP 地址块，则块不得互 相重叠。 一个对象数组。例如： networking.clusterNe twork.cidr 使用 networking.clusterNetwork 时需要此项。IP 地址块。 一个 IPv4 网络。 使用 CIDR OVN-Kubernetes 网 络供应商只支持服务网络的一个 IP 地址 块。 CIDR 格式具有 IP 地址块的数组。例 如： networking.machine Network 机器的 IP 地址块。 如果您指定多个 IP 地址块，则块不得互 相重叠。 一个对象数组。例如： networking: clusterNetwork: - cidr: 10.128.0.0/14 添加到节点可信证书存储中的 PEM 编 码 X.509 证书捆绑包。配置了代理时， 也可以使用这个信任捆绑包。 字符串 compute 组成计算节点的机器的配置。 MachinePool 对象的数组。详情请查 看以下"Machine-pool"表。 compute.architecture 决定池中机器的指令集合架构。目前不 支持异构集群，因此所有池都必须指定 相同的架构。有效值为 amd64