不知不觉我们每日两更的“网络结构1000变”板块已经有超过30000字的解读了,下面是该模块的汇总清单。
该模块的学习形式如下:
有三AI知识星球-网络结构1000变
CBAM
以前介绍过的Dynamic Capacity Network,Perforated CNNs是从空间维度进行Attention,SENet是从通道维度进行Attention,而CBAM(
Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。
作者/编辑 言有三
通道方向的Attention通过通道内的空间关系获取,原理如下:
同时使用最大pooling和均值pooling算法,然后经过几个MLP层获得变换结果,最后分别应用于两个通道,使用Sigmoid函数得到通道的Attention结果。
空间方向的Attention通过通道之间的空间关系获取,原理如下:
首先将通道本身进行降维,分别获取最大池化和均值池化结果,然后拼接,再使用一个卷积层进行学习。
这两种机制,分别学习了“怎么看”,“以及看什么”,这样的两个模块可以很容易地嵌入到任何已知的框架中。
上表展示了将这个方法用于不同模型后的结果,可知道该模型和SENet性能相当,都显著提升了baseline的性能,尤其是较深的ResNet50和ResNet101。
如果心动,就早日加入吧!学习债,越晚还的越多!
转载文章请后台联系
侵权必究
往期精选
- 有三AI知识星球官宣,BAT等大咖等你来撩
- 揭秘7大AI学习板块,这个星球推荐你拥有
- 【知识星球】千奇百怪的网络结构板块更新到哪里了?
- 【知识星球】动态推理网络结构上新,不是所有的网络都是不变的
- 【知识星球】做作业还能赢奖金,传统图像/机器学习/深度学习尽在不言
- 【知识星球】3D网络结构解读系列上新
- 【知识星球】颜值,自拍,美学三大任务简介和数据集下载