自编码器是神经网络的一种,是一种无监督学习方法,使用了反向传播算法,目标是使输出=输入。自编码网络可以参考这篇介绍DeepLearning笔记–自编码网络
本文实现了一个利用Keras(TensorFlow backend)实现的自编码网络。Keras使用了TensorFlow的框架,在其之上代码更加清晰简洁。
预览去噪结果(迭代100次):
下面代码分析
代码分析
环境
代码语言:javascript复制"""
author=Aaron
python=3.5
keras=2.0.6
tensorflow=1.2.1
"""
from keras import Input
import numpy as np
from keras.layers import MaxPooling2D, UpSampling2D, Conv2D
from keras.models import Model
from tensorflow.examples.tutorials.mnist import input_data
import matplotlib.pyplot as plt
输入
输入数据,包括数据集的下载、读取、切分、归一化处理等。使用了mnist数据集,指定目录没有文件会自动下载
代码语言:javascript复制mnist = input_data.read_data_sets('D:dataminist\', one_hot=True)
x_train, x_test = mnist.train.images, mnist.test.images
将784维转换为28*28矩阵。
代码语言:javascript复制x_train = np.reshape(x_train, (len(x_train), 28, 28, 1))
x_test = np.reshape(x_test, (len(x_test), 28, 28, 1))
加入随机白噪。
代码语言:javascript复制noise_factor = 0.5
x_train_noisy = x_train noise_factor * np.random.normal(loc=0.0, scale=1.0, size=x_train.shape)
x_test_noisy = x_test noise_factor * np.random.normal(loc=0.0, scale=1.0, size=x_test.shape)
区间剪切,超过区间会被转成区间极值
代码语言:javascript复制x_train_noisy = np.clip(x_train_noisy, 0., 1.)
x_test_noisy = np.clip(x_test_noisy, 0., 1.)
在原图和加噪声图中各选取十张绘图显示比对。
代码语言:javascript复制n = 10
plt.figure(figsize=(20, 4))
for i in range(n):
# display original images
ax = plt.subplot(2, n, i 1)
plt.imshow(x_test[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
# display noise images
ax = plt.subplot(2, n, i 1 n)
plt.imshow(x_test_noisy[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
plt.show()
绘图结果
定义encoder
代码语言:javascript复制input_img = Input(shape=(28, 28, 1)) # (?, 28, 28, 1)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(input_img) # (?, 28, 28, 32)
x = MaxPooling2D((2, 2), padding='same')(x) # (?, 14, 14, 32)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(x) # (?, 14, 14, 32)
encoded = MaxPooling2D((2, 2), padding='same')(x) # (?, 7, 7, 32)
定义decoder
代码语言:javascript复制x = Conv2D(32, (3, 3), activation='relu', padding='same')(encoded) # (?, 7, 7, 32)
x = UpSampling2D((2, 2))(x) # (?, 14, 14, 32)
x = Conv2D(32, (3, 3), activation='relu', padding='same')(x) # (?, 14, 14, 32)
x = UpSampling2D((2, 2))(x) # (?, 28, 28, 32)
decoded = Conv2D(1, (3, 3), activation='sigmoid', padding='same')(x) # (?, 28, 28, 1)
模型
选定模型的输入,decoded(即输出)的格式
代码语言:javascript复制auto_encoder = Model(input_img, decoded)
定义优化目标和损失函数
代码语言:javascript复制auto_encoder.compile(optimizer='sgd', loss='mean_squared_error')
训练
代码语言:javascript复制auto_encoder.fit(x_train_noisy, x_train, # 输入输出
epochs=1, # 迭代次数
batch_size=128,
shuffle=True,
validation_data=(x_test_noisy, x_test))
去噪
测试集合输入去噪网络之后输出去噪结果。
代码语言:javascript复制decoded_imgs = auto_encoder.predict(x_test_noisy) # 测试集合输入查看器去噪之后输出。
在测试集合中选加噪声图和去噪图中各选取十张绘图显示比对。
代码语言:javascript复制n = 10
plt.figure(figsize=(20, 4))
for i in range(n):
# display original
ax = plt.subplot(2, n, i 1)
plt.imshow(x_test_noisy[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
# display reconstruction
ax = plt.subplot(2, n, i 1 n)
plt.imshow(decoded_imgs[i].reshape(28, 28))
plt.gray()
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
plt.show()
最终去噪效果:
完整代码:denoise_auto_encoder_keras.py