AlexNet 网络结构：
VGG ： conv3x3、conv5x5、conv7x7、conv9x9和conv11x11，在224x224x3的RGB图上（设置pad=1，stride=4，output_channel=96）做卷积，卷积层的参数规模和得到的feature map的大小如下：
卷积神经网络基本计算原理 http://m.elecfans.com/article/691826.html
大卷积核带来的特征图和卷积核的参数量并不大，无论大的卷积核还是小的，对参数量来说影响不大甚至持平；增大的反而是卷积的计算量。同样stride下，不同卷积核大小的特征图和卷积参数差别不大；越大的卷积核计算量越大。
2个3x3的卷积堆叠获得的感受野大小，相当1层5x5的卷积；而3层的3x3卷积堆叠获取到的感受野相当于一个7x7的卷积
小卷积核比用大卷积核的三点优势：更多的激活函数、更丰富的特征，更强的辨别能力,卷积后都伴有激活函数，更多的卷积核的使用可使决策函数更加具有辨别能力，此外就卷积本身的作用而言，3x3比7x7就足以捕获特征的变化：3x3的9个格子，最中间的格子是一个感受野中心，可以捕获上下左右以及斜对角的特征变化。主要在于3个堆叠起来后，三个3x3近似一个7x7，网络深了两层且多出了两个非线性ReLU函数，（特征多样性和参数参数量的增大）使得网络容量更大（关于model capacity，AlexNet的作者认为可以用模型的深度和宽度来控制capacity），对于不同类别的区分能力更强（此外，从模型压缩角度也是要摒弃7x7，用更少的参数获得更深更宽的网络，也一定程度代表着模型容量，后人也认为更深更宽比矮胖的网络好）；
内核大小为1x1的卷积
上面是一个 1x1 卷积核的输出示意图， 如果是 K 个1x1 卷积核，那么 结果就是 将通道数由 D 变为 K 降维或升维
特征通道数变化： 256 —> 64 —> 256
VGG比较神奇的一个特点就是“全连接转卷积”
