自从BasicVSR提出以来,双向信息流传播已成为视频复原(尤其是视频超分)的标配,不仅取得了NTIRE2021视频增强相关竞赛的冠军,同时基于该思路的方案还取得了MobileAI2021视频超分竞赛的冠军。此外,前段时间刷榜的VRT同样采用了类似的机制。不得不说,对于视频超分而言,BasicVSR的双向信息流传播就是YYDS!不接受辩驳!
近日BasicVSR的作者Kelvin又一次对BasicVSR 在其他视频复原(如视频降噪、视频去模糊)任务中的应用进行了探讨。毫无疑问,BasicVSR 再次屠榜!
由于原始BasicVSR 是针对超分任务而设计,其输入分辨率比输出小4倍。而在视频降噪与去模糊任务中,输入与输出的分辨率相同。为此,作者对BasicVSR 进行了如下两点改进:
- 为改善效率,我们采用stride卷积对输入进行下采样;
- 为进一步减少计算量,在计算光流之前我们对输入帧进行下采样。
更多关于BasicVSR 的内容介绍请移步:NTIRE2021竞赛"三冠一亚"方案BasicVSR ,Vid4新巅峰29.04dB。
1Experiments
上图与表给出了视频去模糊任务上不同方案的性能对比,从中可以看到:
- 在DVD与GoPro数据集上,BasicVSR 大幅超越现有方案,比第二名方案指标分别高出1.48dB与1.91dB;
- 受益于输入端的下采样,BasicVSR 不仅具有最高的指标,同时具有最快的推理速度。
上图与表给出了视频降噪任务上不同方案的性能对比,可以看到:
- BasicVSR 显著优于其他方案,同时具有更高的计算效率;相比PaCNet,BasicVSR 推理速度快546倍,同时指标分别高出0.62dB@DAVIS与0.41dB@Set8.
- 有意思的是,随着噪声强度变大,BasicVSR 的性能改善越强;
- 在重建质量方面,BasicVSR 重建结果具有更多细节信息。
此外,作者还给出了BasicVSR 与Transformer方案VRT的性能对比,见上表与图。可以看到:
- 在去模糊任务上,VRT具有与BasicVSR 相当的性能;而在降噪任务上,VRT则优于BasicVSR ;在超分任务上,VRT的性能弱于BasicVSR 。但是,VRT需要非常大的计算复杂度方能达成上述性能。比如,VRT的参数量约为BasicVSR 的5倍@超分和2倍@去模糊 降噪。
- 受益于长期信息交互,BasicVSR 可以重建更锐利边缘与清晰细节,达成与GT相似的结果。