4卷积/池化结构
卷积/池化层的设计目的也是为了简化我们的神经网络。所需的参数量比全连接层要少。
ConvolutionKernel 具有的一个属性就是局部性,即它只关注局部特征,局部的程度取决于Convolution Kernel 的大小。比如用Sobel 算子进行边缘检测,本质就是比较图像邻近像素的相似性。
Pooling的本质其实是采样。Pooling对于输入的 FeatureMap,选择某种方式对其进行压缩。
另一种解读:原图像与Convolution Kernel的卷积,其实对频域信息进行选择。比如,图像中的边缘和轮廓属于是高频信息,图像中某区域强度的综合考量属于低频信息。
4.1两个特性
如果是卷积层,第一个特性是SparseConnectivity,每一个神经元只连接部分前一层的输出。
第二个特性是ParameterSharing,具有不同感受野(receptivefields)的神经元可以使用相同的参数集,远比全连接层更少的参数。
Pooling,即将前一个layer的个神经元的输出变为一个输出,池化的方法有平均法、最大值法和L2法。