来源：SPIE2021 主讲人：Varoun Hanooman 内容整理：王珅 本次演讲主题为不同失真对视频压缩性能的影响，近几年来视频流的技术环境发生了巨大的变化，互联网上的视频流量急剧增加。这也使得人们对视频流和实时视频通信应用中的视频压缩的比特率与质量之间的权衡产生更大的兴趣。而不同的失真类型对这一权衡的影响在此之前并没有被系统的评估过。主讲人介绍了一种方法来衡量视频压缩过程中各种失真（噪声、颗粒、闪烁、晃动）的影响。结果表明，噪声/颗粒对编解码器的性能影响最大，但目前的编解码器对这一类失真鲁棒性更强。此外，主讲人介绍了预处理模块对去噪的影响，指出在开发和测试中，将去噪作为视频压缩流水线的一部分能够更加有效的去噪。
目录
- 引言
- 评估失真影响的方法
- 视频序列失真建模
- 加性高斯白噪声
- 颗粒噪声
- 相机抖动
- 闪烁
- 失真对视频压缩性能影响结果
- 预处理器的作用效果
- 结论
引言
近几年来，视频流的技术环境发生了巨大的变化，互联网上的视频流量急剧增加。根据 Cisco 公司的报告的预测，视频流量将超过整个互联网使用量的 80%。这也使得人们对视频流和实时视频通信应用中的视频压缩的比特率与质量的权衡关系产生了更大的兴趣。然而这些编解码器在实际系统中的实际部署表明，还有其他考虑因素进一步限制了编解码器的性能，例如设备上的资源、云中的计算资源和 CDN（内容交付网络）中不同服务器之间的带宽。尤其是转码已经成为流媒体和通信生态系统的一个关键设备，使 Netflix、YouTube、Zoom、微软、Tiktok 和 Facebook 的视频应用成为可能。用户生成内容（UGC）的流媒体的一个主要问题是失真的影响，如噪音、曝光/光线和相机抖动。对于 UGC，这些失真通常会导致比特率提高，图片质量降低。
自 20 世纪 90 年代以来，人们一直在探索预处理模块，以减轻退化的影响。Roosmalen 等人是第一个研究降噪器对 MPEG-2 压缩的影响。他们还注意到，在某些比特率下，编码器本身就有效地起到了去噪器的作用。从某种意义上说，混合编解码器中变换系数的量化非常像许多视频去噪器中的 "coring "操作。最近也出现了与编解码器更紧密结合的预处理器。
尽管在预处理方面做了大量的工作，但一般用户生成内容中不同失真对编解码器RD性能的影响似乎还没有被完整研究过。主讲人介绍了在用户生成内容中容易出现的不同失真对编码的影响。包括：加性白高斯噪声（AWGN）、颗粒噪声、相机抖动和闪烁。主讲人提出了一种评估失真对RD性能影响的方法，并验证对于某些失真情况，编解码器本身就是一个有效的失真恢复系统。下面主讲人介绍了提出的方法和失真模型。
评估失真影响的方法
如下图所示，原视频为 Clean Video，经过编解码器后得到转码之后的视频序列
