本文来自Streaming Media,Jan Ozer和 Abdul Rehman介绍了per-title编码视频的发展。
为了确保观众获得绝对最好的流媒体视频质量,未来的研究会深入到什么程度?在过去的几年里,常见的不是选择多于7个比特率的流媒体服务,并将所有的东西编码到这些比特流,而是至少要改变每个视频的比特率。本演讲们将展示为什么这样做节约比特率,这反过来又意味着为观众节省比特率,提供更快的播放时间和一个整体更好的体验。
Jan Ozer首先介绍了比特率优化的发展历程。它始于Beamr和FFmpeg。两者都会对每一帧进行重新编码,直到获得最佳质量。尽管比特率是可变的,FFmpeg的CRF模式会改变每一帧的量化器参数,以保持整个文件的质量相同。Beamr会对每一帧进行编码,反复降低比特率,直到得到想要的质量。这些都很好用,但错过了一个大招。
在实践中有时1Mbps的720p看起来比1Mbps的1080p更好。这并不总是如此,而是取决于源视频。很多滚动新闻在清晰度和时空内容上会与优质体育内容不同。所以需要在评估比特率的同时评估分辨率。这个想法被带到了Netflix的per-title编码理念中。通过用不同的分辨率和比特率对一个标题重新编码数百次,他们能够确定“凸包”,这是一个显示质量、比特率和分辨率之间最佳平衡的图形。那是在2015年提出的技术。除此之外,行业已经开始考虑更多的因素。
下一个演变是相当明显的,不是评估每个视频,而是每个镜头。这样做提供了AVC和更多的其他编解码器28%的比特率改进。这比per-title更复杂,因为流本身会改变,例如,GOP大小,所以虽然这是Netflix正在使用的东西,但目前没有可用的商业实现。
进一步推进这些想法,也许流媒体服务应该考虑到正在观看的设备。一些电视通常只在前两级,然而许多移动设备的屏幕分辨率较低,永远无法达到更高的比特率。因此,根据设备的型号或历史活动对设备进行剖析,可以提供不同的ABR阶梯,以获得更好的体验。
所有这些都需要通过自动、客观的指标来实现。Jan解释说,PSNR和MS-SSIM虽然在业界屡试不爽,但它们只测量空间信息。Jan概述了替代方案:VMAF。SSIMPLUS做到了这一点,而且还考虑了广色域HDR和帧率。同样,ATEME的 "质量向量 "也考虑了帧率和HDR。
Abdul Rehman博士在Jan之后介绍了SSIMWAVE的技术,并着重介绍了他们了解观众将看到什么质量的能力。这使得供应商可以选择是否提供70分的质量。每项服务都是不同的,不同的观众会有不同的期望。满足观众的期望以避免流失是很重要的,但尽可能降低比特率也是符合大家利益的。
Abdul举了一个带状的例子,带状的东西不容易被许多指标所发现,因此会在编码优化器继续降低比特率时引入。他说,由于SSIMPLUS没有参考,因此无论源如何,都能给出准确的观众评分,而使用PSNR是在与源进行比较。如果片源很差,PSNR分数可能最终会接近最大值。但是观众仍然会看到较差的视频,而不会关心这是由于编码还是不良片源造成的。
附上演讲视频: