编辑 | KING 发布 | ATYUN订阅号
现实中我们总会遇到这样的困境,有些图片很精美但分辨率很小,放大之后又变得很模糊。现在,有了Pixelmator Pro的最新技术,将图像放大到原始分辨率的三倍还保持清晰完全没有问题。
Photoshop竞争对手Pixelmator Pro今天宣布了其售价为60美元的Pro版本,该版本具有称为ML超分辨率的功能,可以将图像缩放至原始分辨率的三倍,而不会出现诸如像素化或模糊等图像缺陷。
以下是Pixelmator的一些示例,左侧是放大的低分辨率图像,右侧是经过处理的ML超分辨率图像:
工作原理:
为了创建ML超分辨率功能,工程师们使用了卷积神经网络。这种类型的深度神经网络将光栅图像及其复杂的像素间依存关系简化为易于处理(即需要较少的计算)而又不会丢失重要特征(边缘、图案、颜色、纹理、渐变等)。ML超分辨率网络包括29个卷积层,这些卷积层扫描图像并为其创建一个100多个通道的版本,其中包含一系列已识别的功能。然后将其放大、处理,然后转换回光栅图像。下面是神经网络的简化表示。
首先,输入图像通过高通滤波器进行基本边缘检测。然后,第一卷积层减小这些特征的大小并合并数据。在“描述符融合”块中,扫描图像以找到其中的所有JPEG压缩块,并将其与到目前为止确定的其他功能融合。
接下来的卷积层和残留块,它们检测图像中的特征(边缘,图案,颜色,纹理,渐变等),并将它们构建为一个深度超过100通道的复杂表示。在卷积神经网络中,更多的层意味着更好的精度,但是如果层数足够多,则几乎无法训练网络。残留块旨在提高网络的复杂性和准确性,而又使其无法训练。
最后,在放大块中放大了由神经网络识别的所有特征。此后,两个残差块和最后的卷积层对数据进行后处理,然后将特征转换回图像。还需要注意的是,所有这些操作都是在设备上发生的,并且整个受过训练的机器学习模型都包含在Pixelmator Pro应用程序包中。
经过我们的测试,总体而言,Pixelmator的超分辨率功能的性能令人满意。从插图到照片再到文字,各种图像都可以使像素化平滑。结果优于传统的升级算法所提供的结果,尽管该过程不是即时的(在我们的2017 MacBook Pro上每个图像花费了大约八秒钟的时间),但它的速度足以使各行各业的设计师和图像编辑受益。
据说在看的没有BUG