常用图像插值方法概述

2021-05-10 15:55:22 浏览数 (1)

缘由

之前我在公司做了一个在JNI层缩放Bitmap的需求。

需求本身很简单,就是按各种比例缩小或者放大图像,要求缩放后无明显锯齿,不失真。

很容易就想到了双线性插值算法,于是在Github上找了开源代码。即

https://github.com/AndroidDeveloperLB/AndroidJniBitmapOperations

里的函数:

代码语言:javascript复制
Java_com_jni_bitmap_1operations_JniBitmapHolder_jniScaleBIBitmap

这个Github项目的历史有6年了,也有接近500的star。但接入后还是觉得效果不如预期,有时候失真严重。后来发现是因为函数实现里的几行代码逻辑有问题。于是向作者提了PullRequest, 已经被merge了。

拓展

传统的图像插值算法主要有以下几种:最邻近插值 / 双线性插值 / 双三次插值 / lanczos插值。以上算法效果按顺序越来越好,但计算量也是越来越大。

最邻近插值法

效果上比较粗糙,容易失真

实现最简单,就是取最接近插值点的像素的值。

双线性插值法

效果上比较平滑

在X和Y方向分别进行一次线性插值, 采样点的权重与和插值点的距离负相关。

设要插值的像素坐标为(X.a,Y.y), 大写和小写分别表示坐标的整数部分和小数部分,f(x)为读取像素值的函数,那么双线性插值的结果为

代码语言:javascript复制
f(X.x,Y.y) = [(1-x)*f(X,Y)   x*f(X 1,Y)](1-y)   [(1-x)*f(X,Y 1)   x*f(X 1,Y 1)]y
           = (1-x)(1-y)*f(X,Y)   x(1-y)*f(X 1,Y)   (1-x)y*f(X,Y 1)   xy*f(X 1,Y 1) 

可以观察到,采样点的权重就是横向权重与纵向权重的乘积。

由于效果和耗时都适中,所以应用广泛,比如OpenGL里的GL_LINEAR就是双线性过滤的意思。

双线性插值图示

双三次插值法

效果上比双线性插值更少锯齿, 更平滑

比双线性的采样点更多,即取插值点周围的16个采样点的加权平均求得插值点的像素值。并且计算权重的过滤函数是三次多项式。

三线性插值图示

采样的过程可以用矩阵乘法表示如下

bicubic插值矩阵表示

其中i,j是坐标的整数部分。v,u是坐标的小数部分。f(x)为读取像素的函数。S(x)为权重函数。

而权重函数的公式为:

其中a的取值说明如下

代码语言:javascript复制
  -0.5 三次Hermite样条
  -0.75 常用值
  -1 逼近y = sin(x*PI)/(x*PI)
  -2 常用值

权重函数对应的图像如下

lanczos插值

效果上比双三次插值更清晰锐利。但在图像的高频信号区域(像素值陡变的地方,比如素描的线条边缘),会有振铃效应(Ringing Artifact), 这种情况下建议改用双线性过滤

原理和双三次插值法差不多。插值卷积核尺寸为4*4时,计算过程对应的矩阵表示和上面的bicubic插值矩阵表示一样。

计算权重的函数如下:

其中a = kernelWidth * 0.5。即在卷积核为4 * 4时, a= 2

权重函数对应的图像如下

Lanczos和双三次插值的耗时, 是双线性插值的2倍左右, 这个性能在绝大多数移动端场景下都是OK的。

其他补充

OpenGL领域还有MipMap三线性过滤法 GL_LINEAR_MIPMAP_LINEAR。

也可以接入FFmpeg直接使用libswscale库里的各种过滤算法。

开源库OpenCV也提供了各种图像插值算法的C 实现。

0 人点赞