paper: https://arxiv.org/abs/2204.02681 code: https://github.com/PaddlePaddle/PaddleSeg
本文提出一种轻量型实时语义分割方案PP-LiteSeg，它包含以下几个关键性模块改进：
- FLD(Flexible and Lightweight Decoder)，它用于降低传统decoder模块的计算负载；
- UAFM(Unified Attention Fusion Module)，它采用空域与通道注意力生成用于特征融合的权值；
- SPPM(Simple Pyramid Pooling Module)，它以极低的计算消耗进行全局上下文信息聚合。
相比其他方案，所提PP-LiteSeg取得了更佳的精度-速度均衡(可参考下图)。在Cityscapes测试集上，PP-LiteSeg-S取得了72.0%mIoU，推理速度达273.6FPS；PP-LiteSeg-B取得了77.5%mIoU，推理速度达102.6FPS(注：硬件为NVIDIA GTX 1080Ti)。
1Method
上图为本文所提PP-LiteSeg整体架构示意图，它包含三部分：
- Encoder：它采用了STDCNet一文中的轻量型骨干(注：骨干部分采用SSLD方案进行预训练)；
- Aggregation：它采用SPPM进行长程关系建模，SPPM的输出包含全局上下文信息；
- Decoder：它采用渐进式方式融合多级特征并输出最终结果。具体来说，FLD包含两个UAFM与一个分割头。
Flexible and Lightweight Decoder
上图给出了已有方案与本文方案在decoder方面的差异性对比，可以看到：已有方案(上图a)中decoder部分特征的分辨率在提升，同时通道数不变，这会导致浅层特征的计算量远大于深层特征，进而导致浅层特征的计算冗余。
为改善decoder的计算效率，本文提出了FLD，它伴随特征分辨率提升逐渐减少通道数。FLD可以更容易调节计算消耗以达成更好的平衡。
Unified Attention Fusion Module
Simple Pyramid Pooling Module
上图为本文所设计SPPM模块示意图，其实就是PPM变种，这个看图就懂了，继续略过。
2Experiments
上表&图给出了不同实时语义分割方案的性能对比(Cityscapes)，可以看到：
- PP-LiteSeg在精度-速度方面取得了SOTA均衡；
- PP-LiteSeg-T1取得了72.0%mIoU，推理速度273.6FPS；
- PP-LiteSeg-B2取得了77.5%mIoU,推理速度102.6FPS。
- 相比STDC-Seg，PP-LiteSeg精度更高、推理速度更快。
