点击上方“LiveVideoStack”关注我们
▲扫描图中二维码或点击阅读原文▲
了解音视频技术大会更多信息
翻译 | 姜金元 编辑 | Alex 技术审校 | 张昊、杨海涛 本文来自OTTVerse，作者为Jan Ozer。
VVC
影音探索
#006#
聊聊VVC
VVC作为国际标准于2020年7月首次发布，现在时间已经过去了18个月，让我们来看看VVC迄今为止的进展（包括许可、性能、芯片开发和测试等）。
VVC专利所有人
追求视频质量固然很好，但这个世界是靠金钱运转起来的，所以让我们从这里开始吧。我们需要知道的是，VVC此类视频压缩标准将拥有与新功能相关的独特专利，但也会包含源自以前标准（如HEVC和H.264）的专利。表1来源于2021年3月发表的一篇文章[1]中的HEVC和VVC专利所有者列表。
作者之后在iPlytics[2]上更新了与VVC相关的专利所有者的信息，我们注意到有一些重要的、仅持有VVC专利的所有者并没有在表1中列出。然而，综合HEVC和VVC专利贡献以及表1中的专利贡献百分比将有助于进行粗略分析与讨论，但不足以给出权威性论断。
我想指出的是，尽管Apple没有在表1中列出，但它拥有大约350项与VVC相关的专利[3]，加上Apple可能已收购的其他专利[4]，说明它在VVC上进行了大量投资。
我知道，Apple已加入AOM联盟，在该组织成立27个月后，它成为了其“创始”成员之一，它显然不是盲目追随其他公司。正如CanIUse[5]中所详述的那样，由于Safari/Mac、Safari iOS和Apple TV不支持AV1，目前为止Apple已在AV1兼容性方面明显落后于其他公司。同时，Apple是唯一提供基于浏览器访问HEVC（与AV1直接竞争编解码标准）的主要平台[6]。
表1中还有其他AOM的成员公司，包括腾讯、英特尔、Netflix和三星。因此，至少就这些公司而言，不应该将AOM成员资格解释为反VVC。
表1 HEVC和VVC专利的所有权百分比
虽然已经可以从表1看出来，但我还是要补充几点。首先，请注意表中企业的多样性和规模。显然，其中每一个企业都对VVC进行了大量投资，并且都有很大动力确保其成功。例如，表2显示了2020年第二季度至2021年第三季度的全球智能手机芯片市场份额。如你所见，表2中列出的大多数公司在表1中专利占比都非常高，尤其是高通、华为和联发科。
表2 2020年第二季度至2021年第三季度全球智能手机芯片市场份额
根据这些数据，你会预测所有这些公司都会认真考虑在它们未来的芯片中支持VVC（其中联发科已经这样做了）。我们在下面的实现部分会详细说明。
其次，如果你将所有百分比（包括iPlytics所显示的大部分公司）加起来，会发现它们的总和超过1。我不确定为什么会这样，但我相信会有一个明确的解释。另外请注意，在表中列出的两个专利池的专利所有者中（我们在下文会讨论），HEVC Advance占到了24.38%，而MPEG LA则为0。如果你查看iPlytics另一个PPT，会发现几个主要拥有VVC标准专利的公司机构并未在表1中列出，但已经加入两个专利池中的一个（尽管表1中未涵盖的所有权百分比相对较小）。
当然，表1中显示的所有专利都未提交给任何一个专利池，所以目前还处在早期阶段。尽管如此，当你在专利池中获得许可时，专利费用应该与许可提供的专利技术相对应。也就是说，Access Advance专利池提供了更多的专利技术，这也代表了更高的专利费用。
接下来，我们来看看两个专利池。
VVC专利池
顾名思义，专利池是指专利所有者团体联合起来为其专利提供联合许可。专利池简化了技术实现者获取该技术的过程；实现者可以签署一份涵盖专利池中所有专利所有者的许可，而不是与每个为标准贡献技术的专利所有者签署单独的许可。专利池仅转让池内专利的使用权，因此如果有多个专利池，实现者将必须从所有专利池中获得许可，并与不在池中的专利所有者达成协议。
虽然努力劝说VVC专利所有者组建一个专利池[7]，但最终还是出现了两个。Access Advance专利池是最先启动的[8]，它的专利费用结构[9]取决于多种因素，包括是否符合许可、是否选择展示Access Advance商标以及是否从Access Advance同时获得VVC和HEVC许可。图3显示了价格最低的费率；请注意分类、分类下的专利费用、分类年度上限和总体上限。
图3 Access Advance的专利费率
Access Advance还为同时获得VVC和HEVC许可的公司提供MCBA (Multi-Codec Bridging Agreement)。正如新闻[10]中所提到的，获得VVC和HEVC许可并签署MCBA的公司，其同时使用VVC和HEVC专利的产品将享受45%的专利折扣，与仅使用VVC的产品花费的专利费相同。可以查看Access Advance VVC专利池中的专利所有者列表[11]。
MPEG LA于2022年1月公布了相关条款和专利所有者列表[12]，图4中展示的相关条款可以在这里查看[13]。如你所见，硬件和付费软件以及浏览器等免费软件有着不同的专利费用。对于那些不熟悉拉丁语的人来说，de minimus指的是低于这些数量，则无需支付版税。你可以查看注释中给出的链接[13]来获取更多有关专利费用上限的详细信息。
图4 MPEG LA VVC条款
作为对比，许多技术（如Wi-Fi和蜂窝标准等）都拥有两个或多个专利池和一些像高通这样的重要专利所有者——它们更愿意直接成为许可人而不是加入专利池。因此，形成VVC专利许可肯定利大于弊。与HEVC相比，如果真有什么“弊端”的话，那就是这些专利池的合并速度更快，并且其中的条款应该更容易被潜在的被许可人所接受。虽然某些没有加入专利池的专利所有者确实会造成不确定性，但基于两个专利池都宣布了条款这一事实表明VVC现在已开始向商业开放。
现在你已经对VVC专利费用有所了解，下面让我们看下它的性能。
性能
我曾为Streaming Media杂志评估了Fraunhofer的VVC编解码器[14]，表4显示了最主要的质量对比。在这里，读者应该注意区分编解码器和视频编码标准。VVC是一个标准，Fraunhofer的VVenC编解码器是该标准的一种实现，就像是其他编解码器是对应标准的实现一样，无论是HEVC、H.264、EVC还是AV1，皆是如此。
使用VMAF指标对这些编码器进行对比后，我发现Fraunhofer的VVenC编码器在效率上比Libaom-AV1提高了大约5.55%；它与使用XEVE开源编码器的EVC的Main profile对比，效率仅提高2.36%。稍后你会看到，莫斯科国立大学得到了截然不同的结果。
图5 多种编解码器实现的 VMAF BD-Rate
我在配备3.4 GHz Intel i7-3770 CPU、16GB RAM 、4个内核和8个线程并启用HTT的HP工作站上进行了编码时间的测试。VVenC以实时播放66倍的时间进行编码，相比之下，very slow档位配置的x265为33倍，CPU使用配置为3的Libaom-AV为34倍，very slow档位配置的x264为7倍。可见，VVenC编码速度基本符合预期。
在同一台计算机上的播放测试中，Fraunhofer的VVC解码器达到了39fps，而AV1为357fps，HEVC为388fps。在我看来，这将使得VVC被归类为硬件编解码器，这意味着（我预测）大多数发行商不会在目前的平台上使用软件播放（因为性能不佳、电池寿命或两者兼而有之的问题）。当然，VVC 不会在没有硬件支持的智能电视或类似设备上进行播放。请注意，下面讨论的一些编解码器的实现研究展示了非常出色的播放性能，许多人很可能因此重新思考这个结论了。
莫斯科国立大学（MSU）VVC质量比较
在这份MSU报告[15]中，莫斯科国立大学的团队研究了多种AV1、VVC、HEVC和 H.264的编解码器，下表显示了它们使用YUV 4:1:1 SSIM指标进行对比的结果，在免费报告中也提供了其他指标对比的结果（付费报告中还有更多对比结果）。解释一下评分机制，MSU将作为参照的x265编码器性能设置为100%，然后将其他编解码器与此进行对比得出评分。
图6 莫斯科国立大学基准对比
你会注意到，MSU测试中， VVenC在压缩性能上仅比x265提升了2%，但我的测试发现VVenC提升了43%。尽管我们的测试方法完全不同，而且我使用VMAF而不是SSIM作为对比指标，但这个结果仍然非常令人惊讶。我在测试期间向Fraunhofer咨询了产生这种差异的原因，但他们也无法提供解释。
MSU还发现，华为的HW266编码器的压缩性能比x265提升了50%，阿里巴巴的S266_V1 VVC编码器压缩性能比x265提升了大约47%，腾讯的编码器则提升了大约41%。华为的VVC编码器比最高效的AV1实现（腾讯 VAV1）提升了约20%的压缩效率。
尽管我们以不同的方式进行实验对比，但两项研究都表明：VVC与HEVC相比，效率得到了实质性的提升（大约43%～59%），而VVC与AV1相比，收益明显减少了（只提升了大约5%～20%）。
开发活动
2022年1月，来自Microsoft的Gary Sullivan（同时也是开发VVC的联合视频专家团队的创始联席主席）撰写了一份题为《VVC标准部署状态》的文件，详细介绍了围绕VVC的开发活动。这是一个信息宝库，你可以在此处下载[16]，下面介绍的大部分内容也是从该文档中获取的。
硬件实现是交付时间最长的项目，至今并没有几家公司公开其硬件编解码器产品计划。以下是我们所知道的：
- 2021年11月，联发科发布了Pentonic 2000[17]，该公司称其是第一款支持VVC/H.266的商用8K电视芯片，并进一步表示该芯片将支持杜比视界（Dolby Vision），且配备该芯片的智能电视预计于2022年在全球市场推出。
- 2021年7月，Allegro宣布其AL-D320视频解码器半导体IP Core支持最新的VVC/H.266格式[18]。根据发布的消息，解码器可立即供SoC厂商集成，因此在此部署之后，才能使用带有解码器的实际芯片。
- 8K协会在NAB（National Association of Broadcasters，美国广播协会）上发现了支持VVC播放功能的TCL智能电视，但解码器芯片等细节尚不清楚。
- 请注意，高通的Snapdragon 8 Gen 2芯片将很可能支持AV1，但没有提及VVC。
联发科预计配置了Pentonic 2000的电视将在2022年上市，TCL已经实现了这一预测。但即使有更多制造商能生产此类电视，大量支持VVC的电视仍需要经历数年时间才能吸引到独立发行商（比如没有VVC专利的发行商）。即使能够吸引到发行商，感觉高通、博通和英特尔等VVC专利所有者也有可能通过不加速各自芯片对VVC的支持而抑制VVC的发展。
以下表格包含了Sullivan文档中列出的其他一些VVC实现：
VVC实现
软件解码
如果VVC确实需要硬件在计算机上进行全帧播放，以及在移动设备上全帧、省电播放，那么它的采用将会推迟2~3年。因此，与软件播放相关的测试会特别有趣。
根据快手的一项研究[16]显示（这里研究人员专注于Android平台，因为他们平台上80~90%的观看来自Android手机），通过测试App用户上传的1280×720视频，研究人员在Android机（单线程）上达到了97.49 fps的运行速度，在iPhone 12（单线程）上达到了249fps的运行速度。
图7 Android手机上令人印象深刻的播放性能
字节跳动的研究人员使用GPU和CPU混合解码来测试他们的解码器，并在基于M1的Mac和iPhone 13上实现了比实时播放4K视频更快的速度（如图8所示）。
这些结果的有趣之处在于，TikTok等流行平台对VVC的应用如何加速VVC编解码器的硬件支持，特别是当发行商将一些增强功能（如更高分辨率的视频）与VVC编解码器支持联系在一起。例如，YouTube最终说服Apple支持VP9（通过将所有大于1080p的视频流编码为VP9或AV1）。
虽然我仍然怀疑任何独立发行商会在电池供电的设备上部署VVC来进行纯软件播放，但这些结果却令人惊讶。你将看到，表1中包含的所有公司都将更积极地部署VVC，就像YouTube、Meta和Netflix部署AV1一样。
图8 在iPhone 13上实现比实时播放4K 8比特视频更快的速度
支持浏览器和电视
VVC软件播放的最大问题很可能就是它的软件支持了。Windows或Android平台上的Chrome、Firefox或Edge中不支持HEVC，所以它从未在基于浏览器的播放上取得突破。发行商可以采取一些变通办法，比如使用特定的视频播放器，但随之而来的是专利费用问题。如果你拥有一个移动App，你可以使用任何你喜欢的编解码器，但除头部流媒体服务提供商外的其他公司很难做此选择。看，又是专利费用在作怪。
在进入市场将近8年，HEVC依然未能在浏览器播放上占据一席之地，但在电视播放Premium Content（优质内容）方面却取得了巨大成功。VVC也很可能在此领域大展身手，但还需要再等上2~3年。类似地，请注意VVC和LCEVC已经包含在巴西最近的TV 3.0 项目[19]中了，而且VVC（连同AV1和 AVS3）也将包含在即将推出的欧洲电视机标准DVB中[20]。
为了完整起见，我应该指出，VVC还为VR和AR应用（未来几年这些应用将融合在一起）带来了独特的增强功能。
下面是我的想法：
- VVC的贡献者包括许多非常重要的公司，他们对VVC进行了大量投资，并对其成功产生了重要的激励作用。和AOM的成员一样，它们为VVC的部署和成功开辟了可观的市场。
- VVC的效率应该比HEVC高50%左右，比AV1高10～20%。
- VVC很可能会在快手、字节跳动和腾讯等利益相关的公司中得到早期应用，就像AV1在YouTube、Meta和Netflix中的应用一样。
- 在传统的流媒体市场中，VVC可能会模仿HEVC，大量应用在电视播放的场景，而对基于浏览器的播放几乎没有应用。也就是说，可能需要 2～3年，具有VVC播放功能的电视机安装数量不断增加，这样才能吸引独立发行商。
- VVC 似乎在VR和AR方面处于早期技术领先地位。
最后，当我们谈论起在交付组合中添加另一个编解码器，感觉就像拨动开关一样简单，然而事实并非如此。带宽成本的急剧下降已经大大降低了支持更高效编解码器带来的经济效益。可参考文章
Computing Break even on Codec Developments[21]。
出于这个原因，大多数新编解码器的部署似乎都是在它们支持新市场或发生急剧变化的需求时发生的，例如支持4K和HDR编码的HEVC。Premium Content的发行商会从HEVC切换到VVC以节省50%的带宽吗？至少在未来2～3年内我都对此持怀疑态度。另一方面，如果AR/VR真的广泛流行起来，并且对VVC的支持成为了“入场券”，那我们将有可能看到VVC的大规模采用和部署。
图9 受访者计划在2022年支持的编解码器，来自Bitmovin Video Developer 报告
最后，我需要指出，Bitmovin Video Developer报告[22]中有20%的受访者计划在2022年支持VVC，略低于AV1的22%和HEVC的25%（如图9）。Rethink Technology的另一份报告[23]也非常乐观地认为VVC将从2023年中开始获得支持。就Bitmovin报告中的一些数字而言，其中对VVC的预测可能对流媒体生态系统中的公司很有意义，这些公司需要加大编码、发行、监控和播放的力度，但这些预测对实际的内容发行商来说感觉却是非常激进的。
注释：
[1] https://www.iam-media.com/who-leading-the-vvc-technology-race
[2] https://www.iplytics.com/webinar/slides-video-unpacking-vvc-seps-standards-contribution-data/
[3] 详情参见演示ppt中的第42页，相关链接：https://www.iplytics.com/webinar/slides-video-unpacking-vvc-seps-standards-contribution-data/
[4] https://streaminglearningcenter.com/codecs/when-a-butterfly-flaps-its-wings-in-cupertino-vvcs-success-may-be-assured.html
[5] https://caniuse.com/?search=av1
[6] https://caniuse.com/?search=HEVC
[7] https://www.streamingmedia.com/Articles/News/Online-Video-News/VVC-Patent-Pools-And-Then-There-Were-Two-144949.aspx
[8] https://accessadvance.com/2021/07/01/access-advance-launches-vvc-h-266-video-patent-pool/
[9] https://accessadvance.com/vvc-advance-patent-pool-royalty-rates-summary/
[10] https://accessadvance.com/2021/07/01/access-advance-launches-vvc-h-266-video-patent-pool/
[11] https://accessadvance.com/vvc-advance-patent-pool-list-of-licensors/
[12] https://www.mpegla.com/programs/vvc/licensors/
[13] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=151163
[14] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=150729
[15] https://www.compression.ru/video/codec_comparison/2021/main_report.html#buy
[16] https://jvet-experts.org/doc_end_user/documents/25_teleconference/wg11/jvet-y0021-v3.zip （如无法打开链接，可转至原文网页下载）
[17] https://www.prnewswire.com/news-releases/mediatek-announces-new-pentonic-smart-tv-family-with-new-pentonic-2000-for-flagship-8k-120hz-tvs-301428273.html
[18] https://www.allegrodvt.com/allegro-dvt-launches-the-worlds-first-vvch-266-decoder-silicon-ip/
[19] https://forumsbtvd.org.br/tv3_0/
[20] https://dvb.org/wp-content/uploads/2021/09/dvbscene-58.pdf
[21] https://ottverse.com/computing-break-even-on-codec-deployments/
[22] https://bitmovin.com/top-video-technology-trends/
[23] https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=146648
致谢：
本文已获得作者Jan Ozer授权发布，特此感谢。
原文链接：https://ottverse.com/vvc-versatile-video-coding-progress-update-trials/
喜欢我们的内容就点个“在看”吧！
