Tensorflow2实现像素归一化与频谱归一化
-
- 前言
- 像素归一化
-
- 像素归一化详解
- 像素归一化实现
- 频谱归一化
-
- 频谱归一化详解
- 频谱归一化实现
前言
归一化技术的改进是生成对抗网络(Generative Adversarial Networks, GAN)中众多改进的一种，本文介绍常用于当前GAN中的像素归一化(Pixel normalization，或称为像素规范化)和频谱归一化(Spectral normalization，或称频谱规范化)，在高清图片生成中，这两种归一化技术得到了广泛使用，最后使用Tensorflow2实现像素归一化和频谱归一化。
像素归一化
像素归一化详解
像素归一化是在ProGAN模型中提出的，ProGAN的作者放弃了批归一化，并为生成器使用了自定义归一化，即像素归一化。
在ProGAN中进行归一化的目的是限制权重值，以防止其呈指数增长。较大的权重可能会增大信号幅度，并导致生成器与鉴别器之间的恶性竞争。像素归一化将通道尺寸中每个像素位置(H, W)的特征进行归一化。如果张量是大小为(N, H, W, C)的批RGB图像，则像素归一化后任何像素的RGB矢量的大小将均为1。
像素归一化实现
在Tensorflow2中，可以使用自定义层来实现像素归一化：
代码语言：javascript复制from tensorflow.keras.layers import Layer
class PixelNorm(Layer):
def __init__(self, epsilon=1e-8):
super(PixelNorm, self).__init__()
self.epsilon = epsilon
def call(self, input_tensor):
return input_tensor / tf.math.sqrt(tf.reduce_mean(input_tensor ** 2, axis=-1, keepdims=True) self.epsilon)与其他归一化不同，像素归一化没有任何可学习的参数。它仅由简单的算术运算组成，因此计算效率很高。
频谱归一化
频谱归一化详解
为了解释频谱归一化，首先需要复习下线性代数的知识，以大致解释什么是频谱范数。
首先温故下矩阵理论中的特征值和特征向量：
A v = λ v Av=lambda v Av=λv
其中 A A A是一个方阵， v v v是特征向量，而 λ lambda λ是其特征值。
我们将使用一个简单的示例来理解这些术语。假设 v v v是关于位置 ( x , y ) (x, y) (x,y)的向量，而 A A A是线性变换：
A = ( a b c d ) , v = ( x y ) A=begin{pmatrix} a & b\ c & d\ end{pmatrix},v=begin{pmatrix} x \ y \ end{pmatrix} A=(acbd),v=(xy)
如果将 A A A乘以 v v v，我们将获得一个新的位置，其方向改变如下：
A v = ( a b c d ) × ( x y ) = ( a x b y c x d y ) Av=begin{pmatrix} a & b\ c & d\ end{pmatrix}times begin{pmatrix} x \ y \ end{pmatrix}=begin{pmatrix} ax by\ cx dy\ end{pmatrix} Av=(acbd)×(xy)=(ax bycx dy)
特征向量是将A应用于向量时不会改变方向的向量。取而代之的是，它们可以仅通过标量特征值 λ lambda λ进行缩放。可以有多个特征向量—特征值对。最大特征值的平方根是矩阵的谱范数。对于非方矩阵，我们将需要使用数学算法(例如奇异值分解(singular value decomposition, SVD))来计算特征值，这在计算上可能会非常昂贵。
因此，采用幂迭代法可以加快计算速度，使其对于神经网络训练具有可行性。接下来，在TensorFlow中实现频谱归一化作为权重约束。
频谱归一化实现
频谱归一化数学算法可能看起来很复杂。但是，通常，算法实现比数学上看起来更简单。 以下是执行频谱归一化的步骤：
- 卷积层中的权重是一个
4维张量，因此第一步是将其重塑为2D矩阵，在这里我们保留权重的最后一个维度。重塑后，权重的形状为(H×W, C)。 - 用 N ( 0 , 1 ) N(0,1) N(0,1)初始化向量 u u u。
- 在
for循环中，计算以下内容： a) 用矩阵转置和矩阵乘法计算 v = ( w T ) u v =(w^T)u v=(wT)u。 b) 用其 L 2 L_2 L2范数归一化 v v v，即 v = v / ∣ ∣ v ∣ ∣ 2 v = v/||v||_2 v=v/∣∣v∣∣2。 c) 计算 u = w v u = wv u=wv。 d) 用 L 2 L_2 L2范数归一化 u u u，即 u = u / ∣ ∣ u ∣ ∣ 2 u = u/||u||_2 u=u/∣∣u∣∣2。 - 计算频谱范数为 u T w v u^Twv uTwv。
- 最后，将权重除以频谱范数。
完整的代码如下：
代码语言：javascript复制import tensorflow as tf
class SpectralNorm(tf.keras.constraints.Constraint):
def __init__(self, n_iter=5):
self.n_iter = n_iter
def call(self, input_weights):
w = tf.reshape(input_weights, (-1, input_weights.shape[-1]))
u = tf.random.normal((w.shape[0], 1))
for _ in range(self.n_iter):
v = tf.matmul(w, u, transpose_a=True)
v /= tf.norm(v)
u = tf.matmul(w, v)
u /= tf.norm(u)
spec_norm = tf.matmul(u, tf.matmul(w, v), transpose_a=True)
return input_weights/spec_norm迭代次数是一个超参数，一般情况下5次就足够了。频谱归一化也可以实现为具有一个变量来保存向量 u u u，而不是从随机值开始。这会将迭代次数减少到1。实现频谱归一化，我们可以通过将其用作卷积核约束来应用频谱归一化，如：
代码语言：javascript复制Conv2D(3,1,kernel_constraint = SpectralNorm())发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/183478.html原文链接：https://javaforall.cn
