图片转图片技术哪家强

2019-07-30 15:37:03 浏览数 (1)

黑白图片转彩色图片

给你一张黑白图片,你如何把它转换成对应的彩色图片;给你一张白天的景色图片,你如何把他转换成对应的黑色图片;再比如给你一张PS过后的美女图片,你如何把它还原到PS效果之前?这些问题都属于图片转图片问题。如何去解决,对于不同问题我们可能又不同方法。比如深入挖掘里面的规律,找到一种图片到图片的对应关系,然后把这个关系用到新的图上,完成任务。可是,正如我们所见,不同的任务规律不尽相同,要通过找规律这种方法恐怕不能做到通吃。于是我们会想,有没有一种技术,可以做到多种图到图之间转换问题呢?答案是有的,请跟随我的介绍来了解这种神秘技术吧。

白天景色转黑夜景色

01

挑选基础技术

我们的关键词是“通用”,这就要求,转换需要适应目标。所以在技术挑选上,我们尽量有一个高级层次的要求,不能局限在某一种特殊需求上面。正如你去学画画,不仅能学素描,还要能学画中国山水画,甚至还可以学习西方油画。总而言之,学习能力足够泛化,能够指哪打哪。我们要的正式这种高端人才。

在人工智能造假图片可以有多真实一文中给大家介绍一种叫生成对抗网络的技术,简单概括,这种技术可以通过学习一堆真实照片来产生极度真实的相关图片。不论你要学习的图片是手写数字,还是猫狗这些动物,甚至是山水风景照片,生成对抗网络都可以搞定。有了这种技术,我们就有了一个很好的基础,至少我们不用担心它的适用性问题

02

加入条件

虽然我们已经确定好使用生成对抗网络,但是如何操作却是一个问题。我们理想的输入端是转换前的图片,而输出端是转换后的图,但是这样会导致生成的图片是模糊的,是多个图片的“平均”。因此我们需要保留随机输入的同时,把转换前的图片当成一个“条件”,这种网络就叫做条件生成对抗网络。加入条件后的网络,生成器同时接收随机输入以及条件,判别器判别生成的图片是不是接近真实图片的同时,还要判断图片中物体是不是从转换前来的。比如我们做一朵花从黑白到彩色图片转换,我们不仅要判断生成的图片是彩色真实照片,同时还要要求生成的图片是一朵花而不是一只蛙什么的。这样一来我们既用到了生成对抗网络的泛化学习能力,又满足了图片转换前后物体一致的要求。

条件生成对抗网络网络结构

如上图所示,z是原来的随机输入信号,y是转换前的照片。生成器后判别器同时接收y,最后生成的x是你需要的照片。

03

效果如何

简笔草稿到真实照片的转换效果:

还有去背景的:

以及给宠物小精灵上色的:

从简笔画到人脸画像的:

参考文献:

(1) Mehdi Mirza, and Simon Osindero, Conditional Generative Adversarial Nets.

(2) Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A. Efros, Image-to-Image Translation with Conditional Adversarial Networks

0 人点赞