摘要：DoubleAttention注意力助力YOLOv5，即插即用，性能优于SENet
1. DoubleAttention
论文： https://arxiv.org/pdf/1810.11579.pdf
DoubleAttention网络结构是一种用于计算机视觉领域的深度学习网络结构，主要用于图像的分割和识别任务。该网络结构采用双重注意力机制，包括Spatial Attention和Channel Attention。Spatial Attention用于捕获图像中不同空间位置的重要性，而Channel Attention用于捕获图像中不同通道的重要性。
本文贡献：
- 这次是复现NeurIPS2018的一篇论文，本论文也是非常的简单呢，是一个涨点神器,也是一个即插即用的小模块。
- 本文的主要创新点是提出了一个新的注意力机制，你可以看做SE的进化版本，在各CV任务测试性能如下
1.1 加入 common.py中
代码语言：javascript复制###################### DoubleAttention #### end by AI&CV ###############################
import numpy as np
import torch
from torch import nn
from torch.nn import init
from torch.nn import functional as F
class DoubleAttention(nn.Module):
def __init__(self, in_channels,c_m=128,c_n=128,reconstruct = True):
super().__init__()
self.in_channels=in_channels
self.reconstruct = reconstruct
self.c_m=c_m
self.c_n=c_n
self.convA=nn.Conv2d(in_channels,c_m,1)
self.convB=nn.Conv2d(in_channels,c_n,1)
self.convV=nn.Conv2d(in_channels,c_n,1)
if self.reconstruct:
self.conv_reconstruct = nn.Conv2d(c_m, in_channels, kernel_size = 1)
self.init_weights()
def init_weights(self):
for m in self.modules():
if isinstance(m, nn.Conv2d):
init.kaiming_normal_(m.weight, mode='fan_out')
if m.bias is not None:
init.constant_(m.bias, 0)
elif isinstance(m, nn.BatchNorm2d):
init.constant_(m.weight, 1)
init.constant_(m.bias, 0)
elif isinstance(m, nn.Linear):
init.normal_(m.weight, std=0.001)
if m.bias is not None:
init.constant_(m.bias, 0)
def forward(self, x):
b, c, h,w=x.shape
assert c==self.in_channels
A=self.convA(x) #b,c_m,h,w
B=self.convB(x) #b,c_n,h,w
V=self.convV(x) #b,c_n,h,w
tmpA=A.view(b,self.c_m,-1)
attention_maps=F.softmax(B.view(b,self.c_n,-1))
attention_vectors=F.softmax(V.view(b,self.c_n,-1))
# step 1: feature gating
global_descriptors=torch.bmm(tmpA,attention_maps.permute(0,2,1)) #b.c_m,c_n
# step 2: feature distribution
tmpZ = global_descriptors.matmul(attention_vectors) #b,c_m,h*w
tmpZ=tmpZ.view(b,self.c_m,h,w) #b,c_m,h,w
if self.reconstruct:
tmpZ=self.conv_reconstruct(tmpZ)
return tmpZ
###################### DoubleAttention #### end by AI&CV ###############################1.2 加入yolo.py中：
代码语言：javascript复制 elif m is DoubleAttention:
c1, c2 = ch[f], args[0]
if c2 != no:
c2 = make_divisible(c2 * gw, 8)
args = [c1, *args[1:]]1.3 yolov5s_DoubleAttention.yaml
代码语言：javascript复制# YOLOv5
