【AI-1000问】为什么LeNet5倒数第二个全连接层维度为84?

2019-07-26 17:28:34 浏览数 (1)

为什么LeNet5倒数第二个全连接层维度为84?

相信大家也都知道LeNet5这个经典的卷积神经网络,它有3个全连接层,输出维度分别是120,84,10,不知道大家知不知道为什么倒数第2个全连接层的维度是84呢?

作者/编辑 言有三

LeNet5的网络结构如下。

作为一个用于手写数字识别的网络,它的最后输出是1*10的向量,而倒数第2层却不是我们熟悉的4096,1024,512这样的2的指数次幂的维度,而是84,那这是为什么呢。

解答:因为在计算机中字符的编码是ASCII编码,这些图是用7*12大小的位图表示的,也就是高宽比为7:12,如下图,选择这个大小可以用于对每一个像素点的值进行估计。

就这么简单,不过既然来了就多说两句吧。

上图显示了ASCII中的96个可打印字符,其中32是空格,不可见。

另外0~31以及127是控制字符/通信字符,控制字符如:LF(换行)、CR(回车)、DEL(删除)等;通信字符如:SOH(文头)、EOT(文尾)、ACK(确认)等,这两类字符是不可打印的。

思考

是不是很粗暴的设定,居然跟位图的大小有关。通常我们现在设定全连接层的维度都会是2的指数次幂或者最终分类数,不知道你有没有见过一些其他的设定?

0 人点赞