最近相信大家都被一个二创梗刷爆短视频：“你这背景太假了！”。视频中是一位主播“疆域阿力木”在直播时，被网友质疑背景太假，因此他发布了自证清白的视频。
但这个视频发布后，再次被网友“二次创作”。由于其搞笑的体质被网友抠出来做到各种视频中，从此引发相关话题也冲上热搜。网友把他P到上天入地，无所不能。
比如：上月球
P到《猫和老鼠》里：
因此，网友一直以为该小伙是在一块绿幕背景中进行直播。说到视频背景太假，让我想到了之前看到过的一个替换背景的AI算法。它能够在原始视频上生成"高清绿幕背景"，最高分辨率达4K。
这里我尝试了一下，把原版的“你的背景太假”的视频进行输入，得到了比较好的绿幕结果：（左边是原版视频，中间是蒙版，右边是绿幕背景）
当然，该项目也集成了换背景功能，并且目前已经开源。
《Real-Time High-Resolution Background Matting》
先来说说什么是背景替换？
背景替换在电影上是一种用得比较多的技术，而现在Zoom、Google Meet和微软视频会议工具中也开始广泛应用。除了增加娱乐价值外，背景替换还可以增强隐私。想象一下，当你在厕所与别人视频的时候，也不希望对面的人能够看到你在干嘛。因此实时背景替换是一种比较有前景的技术。
在以前的研究中，背景替换技术只能做到512*512的8fps视频。而这篇文章能够做到4K的30fps视频背景替换。这主要的挑战在于：需要计算高质量的蒙版的同时，在实时处理高分辨率图像中保留头发等更为精确的细节。因此这篇文章主要使用了两个网络来实现这个目标。
- 基础base网络主要对低分辨率图像进行处理。
- refinement网络则在第一个网络的基础上，基于低分辨率预测结果，从原始图像分辨率选择特定图像块进行处理，重构高分辨率抠图细节。
具体来说，Base网络输入的是原始图像和背景图，并预测输出粗略的 alpha蒙版、foreground residual背景残差、error prediction map以及 hidden feature。而Refinemen网络，则主要是用来降低冗余计算量，它只需要针对error prediction map所选择的图像块进行处理。
我们再来看看这篇文章抠出来的几个效果。
在抠图细节上，对比了其他的模型，可以发现在毛发等细节上会更加清晰明了：
把原始图片进行高像素4K输出：
在实时视频图片上，输出了高精度的抠图视频
同时在视频上，实现实时替换虚拟背景，可以看到，连头发的一些细节都比较还原出来：
最后再说下这个项目地址：
https://github.com/PeterL1n/BackgroundMattingV2
大家可以下载进行试玩，环境搭建可以用到pytorch和tensroflow等。具体可以看它视频的介绍~
https://www.youtube.com/watch?v=oMfPTeYDF9g
这期就到这里了，我是leo，欢迎关注我的公众号/知乎“算法一只狗”，我们下期再见~
