在TensorFlow中,最常用的可视化方法有三种途径,分别为TensorFlow与OpenCv的混合编程、利用Matpltlib进行可视化、利用TensorFlow自带的可视化工具TensorBoard进行可视化。
tensorboard 作为一款可视化神器,可以说是学习tensorflow时模型训练以及参数可视化的法宝。
而在训练过程中,主要用到了tf.summary()的各类方法,能够保存训练过程以及参数分布图并在tensorboard显示。
tf.summary有诸多函数:
1、tf.summary.scalar
用来显示标量信息,其格式为:
tf.summary.scalar(name, tensor, collections=None, family=None)
函数说明:
- [1]输出一个含有标量值的Summary protocol buffer,这是一种能够被tensorboard模块解析的【结构化数据格式】
- [2]用来显示标量信息
- [3]用来可视化标量信息
- [4]其实,tensorflow中的所有summmary操作都是对计算图中的某个tensor产生的单个summary protocol buffer,而summary protocol buffer又是一种能够被tensorboard解析并进行可视化的结构化数据格式
虽然,上面的四种解释可能比较正规,但是我感觉理解起来不太好,所以,我将tf.summary.scalar()函数的功能理解为:[1]将【计算图】中的【标量数据】写入TensorFlow中的【日志文件】,以便为将来tensorboard的可视化做准备
参数说明:
- name:生成节点的名字,也会作为TensorBoard中的系列的名字。
- tensor:包含一个值的实数Tensor。
- collection:图的集合键值的可选列表。新的求和op被添加到这个集合中。缺省为
[GraphKeys.SUMMARIES]
- family:可选项;设置时用作求和标签名称的前缀,这影响着TensorBoard所显示的标签名。
例如:tf.summary.scalar(‘mean’, mean)
主要用途:一般在画loss曲线和accuary曲线时会用到这个函数。
2、tf.summary.histogram
tf.summary.histogram(name , values, collections=None, name=None)
函数说明:
- [1]用来显示直方图信息
- [2]添加一个直方图的summary,它可以用于可视化您的数据的分布情况,关于TensorBoard中直方图更加具体的信息可以在下面的链接https://www.tensorflow.org/programmers_guide/tensorboard_histograms中获取
虽然,上面的两种解释可能比较正规,但是我感觉理解起来不太好,所以,我将tf.summary.histogram()函数的功能理解为: [1]将【计算图】中的【数据的分布/数据直方图】写入TensorFlow中的【日志文件】,以便为将来tensorboard的可视化做准备
参数说明:
- [1]name :一个节点的名字,如下图红色矩形框所示
- [2]values:要可视化的数据,可以是任意形状和大小的数据 主要用途:一般用来显示训练过程中变量的分布情况
例如: tf.summary.histogram(‘histogram’, var)
主要用途:一般用来显示训练过程中变量的分布情况
3、tf.summary.distribution
分布图,一般用于显示weights分布
4、tf.summary.text
可以将文本类型的数据转换为tensor写入summary中:
例如:
代码语言:javascript复制text = """/a/b/c\_d/f\_g\_h\_2017"""
summary_op0 = tf.summary.text('text', tf.convert_to_tensor(text))
5、tf.summary.image
tf.summary.image(name, tensor, max_images=3, collections=None, name=Non
函数说明:
- [1]输出一个包含图像的summary,这个图像是通过一个4维张量构建的,这个张量的四个维度如下所示:[batch_size,height, width, channels]
- [2]其中参数channels有三种取值:
- [1]1:
tensor
is interpreted as Grayscale,如果为1,那么这个张量被解释为灰度图像 - [2]3:
tensor
is interpreted as RGB,如果为3,那么这个张量被解释为RGB彩色图像 - [3]4:
tensor
is interpreted as Grayscale,如果为4,那么这个张量被解释为RGBA四通道图像
- [1]1:
- [3]输入给这个函数的所有图像必须规格一致(长,宽,通道,数据类型),并且数据类型必须为uint8,即所有的像素值在[0,255]这个范围
虽然,上面的三种解释可能比较正规,但是我感觉理解起来不太好,所以,我将tf.summary.image()函数的功能理解为:[1]将【计算图】中的【图像数据】写入TensorFlow中的【日志文件】,以便为将来tensorboard的可视化做准备
参数说明:
- [1]name :一个节点的名字,如下图红色矩形框所示
- [2]tensor:要可视化的图像数据,一个四维的张量,元素类型为uint8或者float32,维度为[batch_size, height,width, channels]
- [3]max_outputs:输出的通道数量,可以结合下面的示例代码进行理解
主要用途:一般用在神经网络中图像的可视化
6、tf.summary.audio
展示训练过程中记录的音频
7、tf.summary.merge_all
merge_all 可以将所有summary全部保存到磁盘,以便tensorboard显示。如果没有特殊要求,一般用这一句就可一显示训练时的各种信息了。
tf.summaries.merge_all(key=_ops.GraphKeys.SUMMARIES, scope=None)
函数说明:
- [1]将之前定义的所有summary整合在一起
- [2]和TensorFlow中的其他操作类似,tf.summary.scalar、tf.summary.histogram、tf.summary.image函数也是一个op,它们在定义的时候,也不会立即执行,需要通过sess.run来明确调用这些函数。因为,在一个程序中定义的写日志操作比较多,如果一一调用,将会十分麻烦,所以Tensorflow提供了tf.summary.merge_all()函数将所有的summary整理在一起。在TensorFlow程序执行的时候,只需要运行这一个操作就可以将代码中定义的所有【写日志操作】执行一次,从而将所有的日志写入【日志文件】。
参数说明:
- [1]key : 用于收集summaries的GraphKey,默认的为GraphKeys.SUMMARIES
- [2]scope:可选参数
8、tf.summary.FileWriter
指定一个文件用来保存图。
tf.summary.FileWritter(path,sess.graph)
可以调用其add_summary()方法将训练过程数据保存在filewriter指定的文件中
Tensorflow Summary 用法示例:
代码语言:javascript复制tf.summary.scalar('accuracy',acc)#生成准确率标量图
merge_summary = tf.summary.merge_all()
#定义一个写入summary的目标文件,dir为写入文件地址 (交叉熵、优化器等定义)
train_writer = tf.summary.FileWriter(dir,sess.graph)
#训练循环
for step in range(training_step):
#调用sess.run运行图,生成一步的训练过程数据
train_summary = sess.run(merge_summary,feed_dict = {...})
#调用train_writer的add_summary方法将训练过程以及训练步数保存
train_writer.add_summary(train_summary,step)
此时开启tensorborad:
- tensorboard --logdir=/summary_dir
便能看见accuracy曲线了。
另外,如果我不想保存所有定义的summary信息,也可以用tf.summary.merge方法有选择性地保存信息:
9、tf.summary.merge
tf.summary.merge(inputs, collections=None, name=None)
一般选择要保存的信息还需要用到tf.get_collection()函数
示例:
代码语言:javascript复制#生成准确率标量图
tf.summary.scalar('accuracy',acc)
merge_summary = tf.summary.merge([tf.get_collection(tf.GraphKeys.SUMMARIES,'accuracy'),...(其他要显示的信息)])
#定义一个写入summary的目标文件,dir为写入文件地址 (交叉熵、优化器等定义)
train_writer = tf.summary.FileWriter(dir,sess.graph)
#训练循环
for step in range(training_step):
#调用sess.run运行图,生成一步的训练过程数据
train_summary = sess.run(merge_summary,feed_dict = {...})
#调用train_writer的add_summary方法将训练过程以及训练步数保存
train_writer.add_summary(train_summary,step)
使用tf.get_collection函数筛选图中summary信息中的accuracy信息,这里的
tf.GraphKeys.SUMMARIES 是summary在collection中的标志。
当然,也可以直接:
代码语言:javascript复制#生成准确率标量图
acc_summary = tf.summary.scalar('accuracy',acc)
merge_summary = tf.summary.merge([acc_summary ,...(其他要显示的信息)]) #这里的[]不可省
如果要在tensorboard中画多个数据图,需定义多个tf.summary.FileWriter并重复上述过程。
参考:https://blog.csdn.net/lx_ros/article/details/78830023 http://www.cnblogs.com/lyc-seu/p/8647792.html https://www.2cto.com/kf/201805/746214.html