TensorFlow是开发深度学习算法的主流框架,近来随着keras和pytorch等框架的崛起,它受到了不小挑战,为了应对竞争它本身也在进化,最近新出的2.0版本使得框架的应用更加简易和容易上手,本节我们就如何使用它2.0版本提出的eager模式进行探讨,在后面章节中我们将使用它来开发较为复杂的生成型对抗性网络。
最新流行的深度学习框架keras一大特点是接口的易用性和可理解性,它在Tensorflow的基础上进行了深度封装,它把很多技术细节隐藏起来,同时调整设计模式,使得基于keras的开发比Tensorflow要简单得多。但keras对应的问题是,封装太好虽然有利于易用性,但是不利于开发人员,特别是初学者对模型设计的深入理解,由于我们主题是学习神经网络的设计原理,由于keras对模型设计模式的细节封装过度,因此反而不利于学习者。为了兼顾易用性和对设计细节的把握性,我选择TF2.0带来的Eager模式,这样就能鱼和熊掌兼得。
我们首先看看Eager模式和传统模式有何区别。传统模式一大特点是代码首先要创建一个会话对象,深度学习网络模型实际上是由多种运算节点构成的一张运算图,模型运行时需要依赖会话对象对运算图的驱动和管理,我们先看看传统模式的基本开发流程:
代码语言:javascript复制import tensorflow as tf
a = tf.constant(3.0)
b = tf.placeholder(dtype = tf.float32)
c = tf.add(a,b)
sess = tf.Session() #创建会话对象
init = tf.global_variables_initializer()
sess.run(init) #初始化会话对象
feed = {
b: 2.0
} #对变量b赋值
c_res = sess.run(c, feed) #通过会话驱动计算图获取计算结果
print(c_res)
从上面代码看你会感觉有一种别扭,placeholder用来开辟一块内存,然后通过feed再把数值赋值到被开辟的内存中,然后再使用run驱动整个计算流程的运转,这种设计模式与传统编程模式的区别在于饶了一个弯,对很多TF的初学者而言,一开始要花不少精力去适应这种模式。
我们再看看eager模式下上面代码的设计过程,首先要注意一点是,要开启eager模式,需要在最开始处先执行如下代码:
代码语言:javascript复制import tensorflow as tf
import tensorflow.contrib.eager as tfe
tf.enable_eager_execution()
代码执行后TF就进入eager模式,接下来我们看看如何实现前面的运算步骤:
代码语言:javascript复制def add(num1, num2):
a = tf.convert_to_tensor(num1) #将数值转换为TF张量,这有利于加快运算速度
b = tf.convert_to_tensor(num2)
c = a b
return c.numpy() #将张量转换为数值
add_res = add(3.0, 4.0)
print(add_res)
代码运行后输出结果7.0,可以看到eager模式的特点是省掉了传统模式绕弯的特点,它可以像传统编程模式那样从上到下的方式执行所有运算步骤,不需要特别去创建一个会话对象,然后再通过会话对象驱动所有运算步骤的执行,这种设计模式就更加简单易懂
我们看看如何使用eager模式开发一个简单的神经网络。类似”Hello World!”,在神经网络编程中常用与入门的练手项目叫鸢尾花识别,它的花瓣特征明显,不同品种对应花瓣的宽度和长度不同,因此可以通过通过神经网络读取花瓣信息后识别出其对应的品种,首先我们先加载相应训练数据:
代码语言:javascript复制from sklearn import datasets, preprocessing, model_selection
data = datasets.load_iris() #加载数据到内存
x = preprocessing.MinMaxScaler(feature_range = (-1, 1)).fit_transform(data['data']) #将数据数值预处理到(-1,1)之间方便网络识别
#把不同分类的品种用向量表示,例如有三个不同品种,那么分别用(1,0,0),(0,1,0),(0,0,1)表示
y = preprocessing.OneHotEncoder(sparse = False).fit_transform(data['target'].reshape(-1, 1))
x_train, x_test, y_train, y_test = model_selection.train_test_split(x, y, test_size = 0.25, stratify = y) #将数据分成训练集合测试集
print(len(x_train))
代码运行后可以看到拥有训练的数据有112条。接下来我们创建一个简单的三层网络:
代码语言:javascript复制class IrisClassifyModel(object):
def __init__(self, hidden_unit, output_unit):
#这里只构建两层网络,第一层是输入数据
self.hidden_layer = tf.keras.layers.Dense(units = hidden_unit, activation = tf.nn.tanh, use_bias = True, name="hidden_layer")
self.output_layer = tf.keras.layers.Dense(units = output_unit, activation = None, use_bias = True, name="output_layer")
def __call__(self, inputs):
return self.output_layer(self.hidden_layer(inputs))
我们用如下代码检测一下网络构建的正确性:
代码语言:javascript复制#构造输入数据检验网络是否正常运行
model = IrisClassifyModel(10, 3)
train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
for x, y in tfe.Iterator(train_dataset.batch(32)):
output = model(x)
print(output.numpy())
break
代码如果正确运行并输出相应结果,那表明网络设计没有太大问题。接着我们用下面代码设计损失函数和统计网络预测的准确性:
代码语言:javascript复制def make_loss(model, inputs, labels):
return tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits_v2(logits = model(inputs), labels = labels))
opt = tf.train.AdamOptimizer(learning_rate = 0.01)
def train(model, x, y):
opt.minimize(lambda:make_loss(model, x, y))
accuracy = tfe.metrics.Accuracy()
def check_accuracy(model, x_batch, y_batch): #统计网络判断结果的准确性
accuracy(tf.argmax(model(tf.constant(x_batch)), axis = 1), tf.argmax(tf.constant(y_batch), axis = 1))
return accuracy
最后我们启动网络训练流程,然后将网络训练的结果绘制出来:
代码语言:javascript复制import numpy as np
model = IrisClassifyModel(10, 3)
epochs = 50
acc_history = np.zeros(epochs)
for epoch in range(epochs):
for (x_batch, y_batch) in tfe.Iterator(train_dataset.shuffle(1000).batch(32)):
train(model, x_batch, y_batch)
acc = check_accuracy(model, x_batch, y_batch)
acc_history[epoch] = acc.result().numpy()
import matplotlib.pyplot as plt
plt.figure()
plt.plot(acc_history)
plt.xlabel('Epoch')
plt.ylabel('Accuracy')
plt.show()
上面代码运行后结果如下:
可以看到网络经过训练后准确率达到95%以上。本节的目的是为了介绍TF2.0的eager模式,为后面开发更复杂的网络做技术准备。