搭建浅层神经网络"Hello world"

作为图像识别与机器视觉界的 "hello world!" ， MNIST ("Modified National Institute of Standards and Technology")

数据集有着举足轻重的地位。基本上每本人工智能、机器学习相关的书上都以它作为开始。

下面我们会用 TensorFlow 搭建一个浅层的神经网络来运行 "hello world!" 模型。以下内容和模块的运算，均在矩池云平台进行。

本次教程分五步：

第一步：数据预处理，包括提取数据标签、查看图片数据、数据可视化、查看数据是否平衡等

第二步：数据加载，打乱数据集

第三步：构建模型，简单介绍网络卷积模型和激活函数，定义训练函数和学习率

第四步：模型训练，查看训练过程和结果，使用图表查看模型精确度和学习率变化

第五步：尝试提升精准度，不断探索和优化

在搭建开始前，我们需要加载以下对应的模块：

第一步：数据预处理

1.1查看数据标签

在任何模型建立之前，应当优先查看数据的情况。例如数据集的大小、训练集和测试集的数据数量、标签的数据数量分布等。

下方为训练集和测试集的数据查看代码：

代码语言：txt复制

train = pd.read_csv('mnist/mnist_train.csv') # read train
test = pd.read_csv('mnist/mnist_test.csv') # read train

下方为训练集和测试集的数量结果：

代码语言：txt复制

train.shape   （6000，785）
test.shape    （10000，785）

我们可以看到 train 训练集里面有6000条数据，test 测试集里面有10000条数据，两个测试集每行都有785个数据。

接下来，我们来看下数据集的预览：其中第一列是标签列，剩余784列则为像素点数据，由该784列数据组成一张28*28的像素图片。

1.2 提取数据标签

接下来，我们进行数据标签的提取和处理。先来看下标签数据的提取代码：

代码语言：txt复制

train_labels = np.array(train.pop('label'))
test_labels = np.array(test.pop('label'))

查看标签种类，我们可以看出标签表示了从0～9的数字，没有其他的错误数据。

由于运算需要，我们需要将一维的图片数据转换成二维图片数据。将图片数据转换成长28，宽28，通道为1的格式，方便卷积计算。

第二步：数据可视化

2.1 随机生成数据匹配

现在随机选取一些我们已经转换好的图片数据，用 matplot 来查看下标签和图片是否能够对上。

方框内是随机生成的一些非规则写法，图片上方正中间则为对应的数字。

2.2 查看数据是否平衡

分类器的设计都是基于类分布大致平衡这一假设，通常假定用于训练的数据是平衡的，即各类所含样本数大致相当。

下面我们来看下标签的分布情况，查看每个标签种类的数据量是否分布均匀。

在 MINST 数据集中，我们的数据是处于一个均匀分布的状态。

代码语言：txt复制

sns.distplot(train_labels, kde=False, bins=10)

2.3 数据加载

在建立模型之前，我们需要先定义一些常量：

代码语言：txt复制

# 图像宽度
width = 28
# 图像高度
height = 28
# batch size
batch_size = 100
# 训练图片数量
train_images_num = train.shape[0]

下一步，我们为模型建立数据集。TensorFlow 提供了 Dataset 类可以方便加载训练的数据，使用方式为 tf.data.Dataset。

其中，训练集的数据，我们进行了随机打乱。

代码语言：txt复制

train = tf.cast(train, tf.float32)
test = tf.cast(test, tf.float32)
train_ds = tf.data.Dataset.from_tensor_slices((train, train_labels)).shuffle(train_images_num).batch(batch_size)
test_ds = tf.data.Dataset.from_tensor_slices((test, test_labels)).batch(batch_size)