轻量化卷积：TBC，不仅仅是参数共享组卷积，更具备跨通道建模

标题&作者团队

大家好，我是Happy。

今天看到一篇非常有意思的文章：Tied Block Convolution，它也是一种轻量化卷积算子，但还算不上即插即用。为什么这么说呢？我理解的即插即用应该是不用对现有模块中其他地方进行任何改进，直接采用该模块替换卷积即可。显然，TBC是做不到的。

言归正传，我们先来看一下TB到底是何方神圣？

在正式介绍TBC之前，我们先看一下卷积与组卷机的定义。假设输入特征为

X in R^{c_i times h times w}

，输出特征为

tilde{X} in R^{c_o times h times w}

。卷积核尺寸表示为

ktimes k

，为描述的简单性，这里假设输入与输出的分辨率不变。

标准卷积(见上图a)定义如下：

tilde{X} = X * W

其中，

W in R^{c_o times c_i times k times k}

表示卷积核。也就是说，参数量为

c_o times c_i times k times k

。

组卷积(见上图b)的则是将输入特征拆分为G个通道数相等的特征

X_1, cdots, X_G

，且每组共享卷积核参数，即组内为标准卷积，输出再进行concat拼接。组卷机的定义公式如下:

tilde{X} = X_1 * W_1 oplus X_2 * W_2 oplus cdots oplus X_G * W_G

注：

oplus

表示concat操作，此时每组卷积核信息

W_i in R^{c_0/G times c_i/G times k times k}, i =1,2,cdots G

,组卷积的整体参数量为

G times c_o/G times c_i /G times k times k

。

Tied Block Convolution (见上图c)是一种有效降低参数量的轻量算子，类似组卷积，它同样将输入特征进行分组，每组内部采用标准卷积进行操作；但不同于组卷积之处在于：组间参数共享。定义公式如下：

tilde{X} = X_1 * W^{'} oplus X_2 * W^{'} oplus cdots oplus X_B * W^{'}

注：

W^{'} in R^{c_o/B times c_i/B times k times k}

。由于组间参数共享，TBC的参数量只有

c_o/B times c_i/B times k times k

。很明显，TBC是一种组间参数共享的组卷积。

你以为两者之间的异同就这么简简单单的完事了吗？NoNoNo！

相比组卷积，TBC具有更少的参数量；
组卷积需要G个fragmentations进行计算，而TBC仅需一个fragmentation，这可极大的降低并行度。下图对比了GC与TBC在GPU端计算时不同分组数的耗时对比，很明显：TBC耗时几乎不随组数增加而变化，而GC则成线性关系。

image-20210515101116372

TBC可以更好的建模跨通道相关性。由于GC每组滤波器仅作用于通道子集，因此难以进行跨通道全局建模；而TBC的滤波器可以作用于所有通道，故而可以更好的建模跨通道相关性。
在目标检测与实例分割任务上，基于TCB的TiedResNet显著优于基于GC的ResNeXt模型；TiedResNet-S甚至凭借更小的模型(2x)优于ResNeXt，证实了TiedResNet可以更有效的利用模型参数。

Tied Block Group Convolution 类似卷积到组卷积的过度，TBC也可以做成组TBC的形式：TGC，定义如下：

tilde{X} = (X_{11} * W_1^{'} oplus cdots oplus X_{1B}* W_1^{'}) oplus cdots oplus (X_{G1} * W_G^{'} oplus cdots oplus X_{GB}* W_G^{'})

其中，

W_g^{'} in R^{c_o/{BG} times c_i/{BG} times k times k}

，G和B分别表示组卷积数与TBC数。

类似地，我们还可以构建Tied Block Fully Connected Layer，由于太简单了，略过吧。