get_clustering_loss(x_var, centroids_var): """Computing the loss to optimize.""" # Compute the pairwise squared distance between the input (x) and the # centroids. distances = tf.subtract(tf.reshape(x_var, (-1, 1)) 1)), centroids_var) ** 2 best_distances = tf.math.reduce_min(distances, axis=1) return tf.reduce_mean(best_distances) Now we can implement the method that learns the centroids. We will provide it x hence it is not trainable. x_var = tf.Variable(initial_value=x_sorted, trainable=False) # The centroids are going to be updated, thus they will be trainable. centroids_var = tf.Variable(initial_value=centroids_init

shared()。 import numpy as np val = np.random.random((3, 4, 5)) var = K.variable(value=val) # 全 0 变量： var = K.zeros(shape=(3, 4, 5)) # 全 1 变量： var = K.ones(shape=(3, 4, 5)) 后端 BACKEND 173 你需要的大多数张量操作都可以像在 4]]) >>> kvar = K.variable(value=val, dtype='float64', name='example_var') >>> K.dtype(kvar) 'float64' >>> print(kvar) example_var >>> K.eval(kvar) array([[ 1., 2.], [ 3., 4.]]) constant keras.backend Dense >>> np_var = numpy.array([1, 2]) >>> K.is_keras_tensor(np_var) # 一个 Numpy 数组不是一个符号张量。 ValueError >>> k_var = tf.placeholder('float32', shape=(1,1)) >>> K.is_keras_tensor(k_var) # 在 Keras 之外间接创建的变量不是

为了防止神经网络记忆住输入数据的底层特征，Denoising Auto-Encoders 给输入数据 添加随机的噪声扰动，如给输入?添加采样自高斯分布的噪声?： ?̃ = ? + ?, ?~?(0, var) 添加噪声后，网络需要从?̃学习到数据的真实隐藏变量 z，并还原出原始的输入?，如图 12.9 所示。模型的优化目标为： ?∗ = argmin ⏟ ? dist(ℎ?2(? get mean mu = self.fc2(h) # get variance log_var = self.fc3(h) return mu, log_var Decoder 接受采样后的隐向量?，并解码为图片输出。代码如下： def decoder(self, z): # # [b, 784] => [b, 10] mu, log_var = self.encoder(x) # reparameterization trick 采样 z = self.reparameterize(mu, log_var) # 隐向量 z 经过解码器映射为重建的 x_hat 张量

p(x): 概率密度函数 • Ex[f(x)]: 函数f对x的数学期望 • X ⊥ Y : 随机变量X和Y 是独立的 • X ⊥ Y | Z: 随机变量X和Y 在给定随机变量Z的条件下是独立的 • Var(X): 随机变量X的方差 • σX: 随机变量X的标准差 • Cov(X, Y ): 随机变量X和Y 的协方差 • ρ(X, Y ): 随机变量X和Y 的相关性 • H(X): 随机变量X的熵 在许多情况下，我们希望衡量随机变量X与其期望值的偏置。这可以通过方差来量化 Var[X] = E � (X − E[X])2� = E[X2] − E[X]2. (2.6.11) 方差的平方根被称为标准差（standard deviation）。随机变量函数的方差衡量的是：当从该随机变量分布中 采样不同值x时，函数值偏离该函数的期望的程度： Var[f(x)] = E � (f(x) − E[f(x)])2� 且它们独立于wij并且彼此独立。在这种情况下，我们可以按如下方式计算oi的平均值和方差： E[oi] = nin � j=1 E[wijxj] = nin � j=1 E[wij]E[xj] = 0, Var[oi] = E[o2 i ] − (E[oi])2 = nin � j=1 E[w2 ijx2 j] − 0 = nin � j=1 E[w2 ij]E[x2 j] = ninσ2γ2

SST = 1 − SSE SST R2(?, ෝ?) = 1 − σ?=1 ? ( ?(?) − ෝ?(?))2/? σ?=1 ? ( ?(?) − ?)2/? = 1 − MSE Var SSR = ෍ ?=1 ? ( ෝ?(?) − ?)2 SSE = ෍ ?=1 ? ( ?(?) − ෝ?(?))2 SST = ෍ ?=1 ? ( ?(?) − ?)2

seed(42) > a = np.random.randint(0,10,size=(4,5)) > np.sum(a) 96 函数名 功能 sum 求和 average 加权平均数 var 方差 mean 期望 std 标准差 product 连乘积 37 求和，平均值，方差 a -------------- [[6, 3, 7, 4,