缘由
之前我在公司做了一个在JNI层缩放Bitmap的需求。
需求本身很简单,就是按各种比例缩小或者放大图像,要求缩放后无明显锯齿,不失真。
很容易就想到了双线性插值算法,于是在Github上找了开源代码。即
https://github.com/AndroidDeveloperLB/AndroidJniBitmapOperations
里的函数:
代码语言:javascript复制Java_com_jni_bitmap_1operations_JniBitmapHolder_jniScaleBIBitmap
这个Github项目的历史有6年了,也有接近500的star。但接入后还是觉得效果不如预期,有时候失真严重。后来发现是因为函数实现里的几行代码逻辑有问题。于是向作者提了PullRequest, 已经被merge了。
拓展
传统的图像插值算法主要有以下几种:最邻近插值 / 双线性插值 / 双三次插值 / lanczos插值。以上算法效果按顺序越来越好,但计算量也是越来越大。
最邻近插值法
效果上比较粗糙,容易失真
实现最简单,就是取最接近插值点的像素的值。
双线性插值法
效果上比较平滑
在X和Y方向分别进行一次线性插值, 采样点的权重与和插值点的距离负相关。
设要插值的像素坐标为(X.a,Y.y), 大写和小写分别表示坐标的整数部分和小数部分,f(x)为读取像素值的函数,那么双线性插值的结果为
代码语言:javascript复制f(X.x,Y.y) = [(1-x)*f(X,Y) x*f(X 1,Y)](1-y) [(1-x)*f(X,Y 1) x*f(X 1,Y 1)]y
= (1-x)(1-y)*f(X,Y) x(1-y)*f(X 1,Y) (1-x)y*f(X,Y 1) xy*f(X 1,Y 1)
可以观察到,采样点的权重就是横向权重与纵向权重的乘积。
由于效果和耗时都适中,所以应用广泛,比如OpenGL里的GL_LINEAR就是双线性过滤的意思。
双线性插值图示
双三次插值法
效果上比双线性插值更少锯齿, 更平滑
比双线性的采样点更多,即取插值点周围的16个采样点的加权平均求得插值点的像素值。并且计算权重的过滤函数是三次多项式。
三线性插值图示
采样的过程可以用矩阵乘法表示如下
bicubic插值矩阵表示
其中i,j是坐标的整数部分。v,u是坐标的小数部分。f(x)为读取像素的函数。S(x)为权重函数。
而权重函数的公式为:
其中a的取值说明如下
代码语言:javascript复制 -0.5 三次Hermite样条
-0.75 常用值
-1 逼近y = sin(x*PI)/(x*PI)
-2 常用值
权重函数对应的图像如下
lanczos插值
效果上比双三次插值更清晰锐利。但在图像的高频信号区域(像素值陡变的地方,比如素描的线条边缘),会有振铃效应(Ringing Artifact), 这种情况下建议改用双线性过滤
原理和双三次插值法差不多。插值卷积核尺寸为4*4时,计算过程对应的矩阵表示和上面的bicubic插值矩阵表示一样。
计算权重的函数如下:
其中a = kernelWidth * 0.5。即在卷积核为4 * 4时, a= 2
权重函数对应的图像如下
Lanczos和双三次插值的耗时, 是双线性插值的2倍左右, 这个性能在绝大多数移动端场景下都是OK的。
其他补充
OpenGL领域还有MipMap三线性过滤法 GL_LINEAR_MIPMAP_LINEAR。
也可以接入FFmpeg直接使用libswscale库里的各种过滤算法。
开源库OpenCV也提供了各种图像插值算法的C 实现。