项目官网:http://vllab.ucmerced.edu/wlai24/video_consistency/ 最近在做关于antibanding,视频去闪烁方面,这篇论文比较新,效果也不错。精读一遍
摘要: 当对视频进行操作时,若不考虑帧与帧之间的关系,只对单张图像进行例如风格迁移、上色、超分辨率处理等等,会造成视频结果的不连贯,出现闪烁,这个论文提出了一种方法,可以无视图像处理的方法,直接解决视频不连续问题。 论文亮点: 1.用卷积LSTM有效的去除了视频中的闪烁,并且在测试的时候不需要预计算的光流或是帧之间的关系,因此可以做到实时,(亲测不能实时) 2.提出了减少长短期的时序性loss,改善时序稳定,并且使用了perceptual loss来维持内容的不变性 3.用一个模型解决好多种不同图像处理情况,鲁棒性好
值得注意的是Image Transformation学习出来的是 Ot和Pt的残差,类似resnet的思想,Ot = Pt 学习到的残差。
手画模型,比较丑:后期再补大图
transformation network
代码语言:javascript复制论文特点:通过优化三个loss:short-term loss 、long-term loss、perpetual loss来达到目的。
其中长期损失是第0帧和第二帧以及之后的算出的loss
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/183379.html原文链接:https://javaforall.cn