基于区域的可切换AV1编解码工具

2019-12-11 17:56:25 浏览数 (1)

本文来自AOMedia 2019 Research Symposium的演讲,演讲者是来自美国普渡大学的助理教授Fengqing Maggie Zhu。演讲主题是可切换的基于区域的AV1编解码工具。

当前主流的编解码器在应对纹理较多的视频时效率不高,此外这些区域在感知上是无关紧要的,因此,Maggie Zhu提出了一种基于区域的,可以切换纹理的模型来表示这些区域,从而在保证视频质量的同时节省码率。此外,她也提出了一种新的感知视觉指标来评价其性能。这里Maggie Zhu给出了实例,两个视频序列分别经过AV1编码和可切换纹理区域模型编码,肉眼无法察觉到它们之间的不同之处,但后者能够节省10.9%的码率。

接着,她讲述了纹理区域切换的基本思路。该方法使用了一个纹理分析器来寻找每帧图像上的纹理区域,首先纹理分析器会尝试寻找当前帧可能的纹理区域(并非绝对意义上的纹理,而是指人眼不敏感的区域,称其为类纹理区),然后寻找参考帧上的相似区域,对该纹理区域用一种运动模型来表示,而非传统的运动补偿和变换,然后再对纹理区域外的部分进行编码。

接下来的一部分讲述了类纹理区域分割的方法。她尝试了两种方法,分别是基于块和基于像素的方法。由于基于像素的方法更加精细,所以类纹理分割采用的是基于像素的做法。然后她讲述了编码器中纹理模式的工作流程图,解释了在什么情况下使用纹理模式。一些视频在启用纹理模式以后码率可能会增加,尤其是在QP值比较高的时候,此外,在纹理区域比较小的情况下,由于运动参数不准确,可能会产生视觉伪像。考虑到各种情况,他们最终总结出一张流程图来阐述纹理模式的切换策略。

第二部分的工作是提出了新的视觉感知评价指标。传统的方法如PSNR和SSIM是不够准确的。她受到了AVM和STSIM2的启发,提出了包含4个组件的视觉感知指标,分别对应模糊,边缘,STSIM2和结构纹理相似性波动。

最后,Maggie Zhu展示了该编解码器在Youtube UGC数据集上的一些测试结果。结果表明在很多序列上,尤其是在QP值不是很大时,她的方法能够带来一些码率节省。

0 人点赞