开山作-FCN
论文：Fully Convolutional Networks for Semantic Segmentation 2015CVPR
链接：https://arxiv.org/abs/1411.4038
FCN是语义分割开山之作。
主要思想就是把分类网络的最后池化和全连接层去掉，再对8X，16X，32X的FeatureMap反卷积放大以及融合。end2end 全卷积 反卷积 跳跃结构。这个框架是后面很多语义分割论文的基础。
Unet系列
Unet结构也是语义分割里常用的框架。
论文：U-Net: Convolutional Networks for Biomedical Image Segmentation 2015
链接：https://arxiv.org/pdf/1505.04597.pdf
常见的Unet框架，先下采样，再上采样，中间同尺寸FM会有concat操作。
论文：Learning deconvolution netword for semantic segmentation 2015
链接：http://cvlab.postech.ac.kr/research/deconvnet/
也是Unet结构的，在放大缩小使用的pooling和uppooling
论文：SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation 2016
链接: https://arxiv.org/pdf/1511.00561.pdf
同样是Unet结构，提出了加BN层，upsampling使用的反卷积。
这个系列属于比较早期的语义分割论文，就不详细介绍了。现在看起来虽然简单，但是后面很多思路都有借鉴。
deeplab系列
deepLabV1
论文：semantic image segmentation with deep convolutional nets and fully connected crfs--ICLR2015
链接：https://arxiv.org/pdf/1412.7062.pdf
V1的最大贡献提出空洞卷积，使用不同的rate得到不同感受野的卷积核
deepLabV2
论文：lDeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 2017
链接：https://arxiv.org/pdf/1606.00915.pdf
V2最大贡献提出了ASPP（Atrous spatial Pyramid pooling）.在一个FM上通过不同rate的空洞卷积核感受不同大小视野，再把信息concat补充信息
deepLabV3
论文：Rethinking Atrous Convolution for Semantic Image Segmentation 2017
链接: https://arxiv.org/pdf/1706.05587.pdf
V3提出了更通用的分割框架，基础网络使用的resnet，在ASPP结构中加了使用了BN，另外加了1*1卷积和image pooling。
PSPnet
提到ASPP就要提一下PSP，很多论文在做对比时总会把这两个一起说。
论文：Pyramid Scene Parsing Network CVPR2017
链接：https://arxiv.org/abs/1612.01105
和ASPP结构有点像，目的也一样就是想融合不同尺度的信息（好像语义分割很多改造网络都是这个目的，把不同感受野信息融合，底层细节信息高层全局信息。。）
ASPP是通过卷积核大小的改变扩大感受野，PSP是不同FM卷积后通过up后concat。
多尺度融合系列
以上一直提不同尺度信息的融合，再来看几篇多尺度融合的结构
RefineNet
论文：Multi-Path Refinement Networks for High-Resolution Semantic Segmentation CVPR2017
链接：https://arxiv.org/pdf/1611.06612.pdf
这个框架就是看起来就很复杂，看着就不敢往工程上上的网络图，但是里面的思想我们可以借鉴。论文中multi-path就是指，输入可以是多个不同尺度的FM，然后通过refinenet融合。
refinenet中RCU就是一个残差结构，然后不同尺度的进行放大再融合。最后对统一尺寸的FM再来个链式残差。
ICNet
论文：ICNet for Real-Time Semantic Segmentation on High-Resolution Images ECCV2017
链接：https://arxiv.org/pdf/1704.08545.pdf
refinenet是在FM做文章，ICNet是对不同尺度的原图来做级联。
另外在训练时会多出三个分支loss,后面会进行加权一起训练。
ICNet利用低分辨率的高效处理，高分辨率的高推理质量，再通过图片级联组成一个分割框架。看起来结构很复杂，但实际只有低分辨率贯穿了整个网络，高分辨率只有前面来辅助和补充信息让网络学的更好。
旷视系列
旷视出了很多关于语义分割的论文而且被CVPR收录，我们选几篇学习下
GCN
论文：Large Kernel Matters —— Improve Semantic Segmentation by Global Convolutional Network CVPR2017
链接：https://arxiv.org/pdf/1703.02719.pdf
作者论文提出语义分割的任务实际可以分解为两个主要项：分类和分割,分类需要看全局信息，分割更多看局部信息。分类任务需要对形变不敏感，但是分割任务对变换是很敏感的。如果要把两个任务很好的结合，就需要更大的卷积核。。。。。。。。。。好有道理。
主框架其实还是Unet框架，在每个尺度FM间加了GCN和BR组件。GCN是用1*N N*1的大核进行卷积。
DFN
论文：Learning a Discriminative Feature Network for Semantic Segmentation CVPR2018
链接： https://arxiv.org/pdf/1804.09337.pdf
论文先提出了语义分割的“通病”
intra-class 类内不一致
inter-class 类间无差别
论文的判别特征网络可以去除类间不一致性，增加类间差别性。。感觉好厉害
上图，论文是作为多任务的，左边BN是通过边缘信息知道学习，为了帮助类间区别，需要
先通过分割的gt通过canny算子提取边缘。 右边SN就是为了学习类间的一致性，通过残差block，多尺度融合以及CAB，仔细看看CAB结构是否很熟悉。。嗯，通道attention，可以理解为和自己一样类别的你就多关注点。。
这篇论文结构挺好的，提出问题类间和类内，再针对问题提出方案，多任务学习，对类间提出了通过边缘辅助学习，感觉思路挺棒的。
BiSeNet
论文：BiSeNet:Bilateral Segmentation Network for Real-time Semantic Segmentation 2018
链接：https://arxiv.org/pdf/1808.00897.pdf
同样先提出各种常用框架的问题
因为分割模型是像素级别的，通常为了性能需要进行优化处理
（1）裁剪或者resize分辨率，但是这样会让精度尤其是边界精度下降（图a左）
（2）裁剪网络，但是这样如果参数不够会弱化我们的网络表达
（3）丢弃掉下采样的层数，但是这样视野不够，对大目标影响大（图a右）
（4）Unet结构可以增加空间信息，但是Unet比较慢，而且由于下采样我们在高层语义
上已经丢失的信息，想通过引入浅层信息的融合可能无法轻易的复原。（图b）
图C其实还是在说要走两条路，一条路我们要学底层空间信息，一条路我们要学高层语义信息。直接看网络结构
两个骨干网络，两条支路，一条学习空间细节信息，一条视野大学习高层语义信息，再融合。其中结合了atttention和fusion.
DFANet
论文：Deep Feature Aggregation for Real-Time Semantic Segmentation 2019
链接：https://arxiv.org/abs/1904.02216v1CVPR
图C其实还是在说要走两条路，一条路我们要学底层空间信息，一条路我们要学高层语义信息。直接看网络结构
两个骨干网络，两条支路，一条学习空间细节信息，一条视野大学习高层语义信息，再融合。其中结合了atttention和fusion.
DFANet
论文：Deep Feature Aggregation for Real-Time Semantic Segmentation 2019
链接：https://arxiv.org/abs/1904.02216v1CVPR
DFANet 整合了两个优点：
1）通过深度多层聚合（DeepFeature Aggregation）结构充分利用网络的高层特征信息
多层：骨干网络，开除分支，分支再开出分支，前面层权重复用。
2）通过 DFA轻量级特征聚合结构让轻量级编码器获取更多信息
融合：主干FM语义信息会往分支网络中融合。
Decoder部分，不同尺度的FM也会通过up后融合。
因为这种多层结构，分支的FM都很小，所以虽然网络看起来复杂，计算量和参数都不大
看到这个结构可以回忆下多尺度融合系列的一些思想，比如ICnet以及RefineNet的链式残差池化层，网络结构看起来不一样，但是思想上有感觉是一样的。。。
OCP的思想就是self_attention，对FM加了一个selfattention再concat.这个思想和DANet感觉是一致的，另外还结合的ASPP和PSP OCP的框架结构。
OCR
论文：Object-Contextual Representations for Semantic Segmentation 2019
链接：https://arxiv.org/pdf/1909.11065.pdf
这篇论文的思想很新颖，虽然还是借助selfattention，但是他借助了object的信息，学出soft object regions,通过和gt得到loss把各个object信息学到，再用attentoin机制得到object的表达，于pixel region信息结合。
另外论文也提出了和ASPP通过改变视野来学习，OCR能得到更好的分割效果。
其他
论文：Decoders matter for semantic segmentation:data-dependent decoding enables flexible feature aggregation CVPR2019
链接：https://arxiv.org/pdf/1903.02120.pdf
常用的Encoder-Decoder框架（以DeepLabV3 为例）
OCP的思想就是self_attention，对FM加了一个selfattention再concat.这个思想和DANet感觉是一致的，另外还结合的ASPP和PSP OCP的框架结构。
OCR
论文：Object-Contextual Representations for Semantic Segmentation 2019
链接：https://arxiv.org/pdf/1909.11065.pdf
这篇论文的思想很新颖，虽然还是借助selfattention，但是他借助了object的信息，学出soft object regions,通过和gt得到loss把各个object信息学到，再用attentoin机制得到object的表达，于pixel region信息结合。
另外论文也提出了和ASPP通过改变视野来学习，OCR能得到更好的分割效果。
