本文讨论了HEVC，AV1和多功能视频编码（VVC）的当前状态，回顾了每种编码器在最近一年的进展。您将从开发者的角度了解每个编解码器的最新进展，包括从编码耗时、成本与编码质量等方面得出的对比结果，并获悉编解码器市场在过去几年中的发展趋势以及编码器的意义与价值。
文 / Jan Ozer
整理 / LiveVideoStack
我们关心的是什么？
我们知道，有史以来最成功的两个编解码器是MPEG-2和H.264，但这两种编解码器主要是为广播市场定制，与流媒体没有太大关系。编码器标准对于广播领域的价值在于可以从编码、传输、解码空间等方面将众多供应商牢牢捆绑在一起。虽然每个编解码器都有特许权使用费，但特许权使用费的存在是合理的，而且单一专利池的管理也应该是良好且透明的。
而现在，流媒体已经超过了传统广播并且很快就会将其取而代之。虽然标准的制订对于流媒体和广播来说一样重要，但标准制定的过程却有所不同。桌面操作系统中的核心技术由众所周知的两家公司——苹果和微软控制，而苹果与谷歌也控制着在各自移动操作系统中部署的技术；至于部署在OTT设备中的核心技术则由亚马逊、苹果、谷歌和Roku在内的少数公司控制。通过亚马逊、Hulu、Netflix和YouTube等平台播放视频成为摆在人们起居室内的智能设备必须具备的功能，这些供应商所使用的技术也必须得到电视机、OTT设备和机顶盒的支持。
如果用棒球作为比喻的话，H.264就像是一场三垒打，在没有任何失败出现的情况下得分；HEVC则更像是一场二垒打，存在一系列自我犯下的失误。VVC则始于其他没有被MPEG认可的编解码器，标准化能否成功尚不明确。此外，额外压缩效率的经济价值正在迅速下降。很久以前，内容分发网络的每GB流量费用是50美分，因此降低视频的数据速率意味着真正的码率节省；而现在，这一价格远低于每GB一分钱，为节省码率而降低视频数据速率继而采用额外编解码器的策略，最终却导致成本更难以收回。
从QoE的角度来看，这一观点也是正确的。当家庭带宽平均低于3Mbps而移动设备通过3G连接时，使用HEVC或VP9提供1080p视频与使用H.264提供720p视频相比具有更多潜在价值。现在，美国的平均家庭带宽超过14Mbps，而5G的到来更加降低了更高效编解码器所带来的最终用户利益。因此，即使压缩效率提升一倍，其也未被证明是绝大多数生产商采用新编解码器的首要条件。
一个编解码器被采用的关键在于能够进入新市场而非降低运营成本——赚钱而不是省钱。例如VP9比H.264的压缩效率高出30％到40％且能与86.39％的移动和桌面浏览器兼容。然而，根据Encoding.com给出的报告我们发现，VP9的使用率从2016年的11％下降到2018年的5％；与此类似的是，尽管78％的Apple移动设备支持HEVC，但Encoding.com报告也指出，2018年只有3％的视频被打包成HLS——一个基于HEVC的流媒体格式。
当Adobe在2007年将H.264集成到Flash中时，似乎整个网络视频市场在几个月内就会转而支持新的编解码器，以至于在12年后的今天，Encoding.com所统计的H.264市场占有率仍高达82％。因此，虽然编解码器研究人员总是强调新编解码器能带来的微小效率增益，营销人员也对一次次地兼容新平台而感到愤怒，但很少有视频制作商关注那些除去世界上最大的订阅型视频点播（SVOD）、广告型视频点播（AVOD）或用户原创内容（UGC）平台之外的内容。
下一个风口将是能够在足够多平台上可用的编解码器，允许发布者编码为单一格式并最终使H.264退出历史舞台。在流媒体媒体报道的NAB Show采访中，Twitch的沈悦时教授表示他的公司希望到2024年能够用AV1做到这一点。
我们可以从上述内容中得出什么结论？“支持基于特定标准的编解码器”这一在过去看上去颇为成功的商业模式放到现在已经不再重要，大多数流媒体制作商都通过采用针对新市场兼容性更好的编解码器而不是一味降低运营支出来提高营收。“随时随地观看“将成为新编码器取代H.264编解码器的最重要因素。在这一点上，无论哪个编解码器取代H.264都有可能带来版税问题，而哪一个编解码器的版税政策最实惠合理将直接决定未来哪一款编解码器将成为这场战役的优胜者。
接下来，我们来看看HEVC、AV1和VVC在过去一年左右的发展情况。
HEVC
HEVC于2013年1月26日正式成为国际标准。六年后，HEVC在我们所使用的所有浏览器中占16.57％（图1）。相比之下，H.264获得了96.96％的浏览器支持，而VP9的支持率为86.39％。如果您必须选择一个案例来显示灾难性的特许权使用费政策所带来的坏处，那就是HEVC。
图1.截至2019年5月28日，HEVC在浏览器中的覆盖率
ScientiaMobile于2018年8月23日统计了硬件加速HEVC解码在移动端的支持情况，iOS设备为78％，Android为57％（图2）并且从那时起明显增加了。然而，虽然Apple已经在iOS Safari浏览器中提供HEVC播放并简化了所有流媒体制作者的访问流程，但仍然没有Android平台的浏览器支持HEVC播放（图1），这意味着Android上的HEVC播放主要是通过应用程序来支持。这就导致HEVC通常适用于那些通过应用来部署的顶级OGC和高级内容站点，但却不适用通过浏览器提供服务的站点。
图2.移动平台支持硬件加速的HEVC播放*
如果我们讨论HEVC的使用率，在Bitmovin的“2018年视频开发者报告”所统计的456名受访者中，有42％的受访者表示他们使用HEVC编解码器部署视频，但这一数字并不表示实际以该格式部署视频的占比。在详细介绍2018年行业产品结果的“2019年全球媒体格式报告”中，Encoding.com表示，2018年生产的所有视频中有12％是以HEVC为编解码标准，同时Encoding.com也提出了一些乐观的预测：“2017年，大部分HEVC主要用于测试和开发；然而在2018年，我们相信HEVC已被推广到视频制作的许多工作流程，并且我们预计2019年，在UHD HDR内容愈加普及的推动下，HEVC的市场占有率将大幅增加，因为满足HDR、 Dolby Vision和HDR 标准的优质视频内容需要基于HEVC才能有效实现。
如前所述，Encoding.com补充到，2018年HEVC标准在基于HLS传输的视频中的占比为3％。所有这些都符合上述叙述：制作人正在部署HEVC以为新设备提供更加出色的格式，但这样做并不会带来明显的带宽节省或运营支出减少。
编码和转码
在编码方面，HEVC受益于英特尔可扩展视频技术（SVT）-HEVC编解码器的加入，SVT-HEVC为基于英特尔至强可扩展处理器和英特尔至强D处理器架构的编码系统运行的软件编码带来了十分显著的性能提升。我将在本文的AV1部分更多地讨论英特尔的SVT技术。
去年，基于硬件的HEVC转码的可用性也有所增加，硬件HEVC转码实现了对实时媒体流进行更高密度的云转码。在2019 NAB展会上，我们看到了来自NGCodec的基于FPGA的解决方案以及来自NETINT和SoftIron 的基于SoC的解决方案。
知识产权
在过去的12个月里，三个HEVC专利池与自主知识产权（IP）所有者的HEVC特许权使用费政策几乎没有变化。这可能与最大的持有量与内容版税有关，其中的两个池——MPEG LA和HEVC Advance表示他们不会收取任何费用，MPEG LA以及HEVC Advance主要通过非物理媒体（如流媒体）传送必要数据。
在撰写本文时也就是HEVC比特流成为标准后的6年4个月零4天，Velos Media仍在网站上指出：“因为它与内容有关，我们将花时间充分了解生态系统的动态和确保我们的模型最好地支持HEVC技术的发展和使用。“有人可能会建议公司雇用一两个MBA来解决这个问题。或者用Bob Dylan的话来说：“你可能不需要MBA来判断下一个风口。”正如我在博客上的文章“HEVC知识产权所有者正在杀死金冠王”中所表述的那样，你所要做的只是参加Streaming Media East的几场会议并且听到多家出版商因内容版税的不确定性而宣誓离开HEVC阵营。
也就是说，由于专利监督组织 “ UnifiedPatents”已对超过30％的Velos Media已知专利提出质疑(https://www.unifiedpatents.com/insights/2019/5/20/velos-media-patent-likely-unpatentable) ，Velos Media可能正忙于澄清其在内容版税方面的地位，而与Velos Media已知专利的约5.5％相关的一项挑战，似乎已经越过了最初的障碍——具体来说，2019年5月16日美国专利商标局的专利审判和上诉委员会发现，[Unified Patents] “显示出它未在专利性方面占上风的合理可能性”并允许其被试用。
由于它与HEVC知识产权政策和特许权使用费有关，因此可以想到“正常情况，所有犯规（SNAFU）”这一俚语。这就是2015年第二个专利池（HEVC Advance）推出以及开放媒体联盟（AOMedia）成立时的方式 - 也就是今天的样子。
AV1
当然，AV1是AOMedia的开源编解码器。它于2018年推出，过去12个月在编码时间和解码效率方面都有所改进，但我们没有看到编码效率的革命性变化。当然，重要的消息是有一个声称是AV1部署版税的专利池被推出，所以让我们从那里开始吧。
2019年3月27日，总部位于卢森堡的Sisvel公布了两个新的专利池，提供与VP9和AV1规格相关的专利许可。这些专利池仅适用于消费类显示设备如智能手机、电脑和电视以及非消费者显示设备如机顶盒、加密狗和显卡。VP9的标准费率为显示设备0.24欧元，非显示设备0.08欧元，而AV1标准费率分别为0.32欧元和0.11欧元。
这些池代表了来自JVC、KENWOOD Corp.、Koninklijke、Philips、NipponTelegraph and Telephone Corp、Orange和Toshiba IPR Solutions的专利许可。根据Sisvel首席执行官的问答，Sisvel池不会对内容收费，但也没有排除基于软件播放的专利授权费用。（作者注：详见流媒体学习中心，作者正在为Sisvel提供一些编辑咨询服务。）
当AOMedia宣布发布AV1时，它还宣布为任何与专利相关的诉讼提供法律辩护基金，Sisvel专利池的出现并不令人感到惊讶——没有人起诉任何人，所以辩护基金并没有发挥实际作用。此专利池的下一个主要发展将是Sisvel提交专利名单，该名单应该在2019年夏末或初秋被提交。一旦提交名单，其他知识产权专业人士可以开始审查专利的真实性以及它们是否适用于AVI和VP9。在那之前，Sisvel宣布的该专利池的唯一真正效果是所有潜在用户都注意到AV1可能不是免版税的。
AV1浏览器支持
由于Google和Mozilla都是AOMedia成员，因此Chrome和Firefox可支持AV1播放并不是一件奇怪的事。加上Opera全系列浏览器对AV1的支持，AV1现在占所有浏览器的35.28％。也就是说，在3月份谷歌宣布在Android Q（现已推出测试版）中“引入了对开源视频编解码器AV1的支持，并允许媒体提供商基于更少的带宽将高质量的视频内容以流媒体的方式传输到Android设备。“这似乎表明Android Q对AV1的支持将仅限于视频内容的播放而非视频录制。
图3.截至2019年5月，AV1在Chrome，Firefox和Opera中播放，占所有浏览器的35.28％
在2018年11月，微软发布了betaAV1视频扩展，允许Windows10设备播放AV1。没有任何迹象表明微软何时将其添加到Windows 10更新当中以对此特性进行更广泛的分发，也许是当AOMedia成员Apple将AV1添加到其计算机或设备当中时。
AV1编码/解码的硬件支持计划直到2020年中期，而基于AV1的比特流标准大约在2年后才出现并且这一标准似乎正在按计划演进。请注意，基于浏览器的流媒体播放的发展已被证明比许多专家所预测更加迅猛，这预示着AV1采用基于浏览器的播放将达到更好的播放效果。2018年10月在StreamingMedia.com的报道当中，在运行于配备2.8GHz Intel Xeon E3-1505M v5 CPU的HP ZBook笔记本电脑的Chrome上，播放youTube平台中使用AV1编码的1080p视频消耗了大约20％的CPU。几天后，我在我的博客上报道，使用同一个笔记本上的Firefox播放相同的视频消耗了大约10％到15％的CPU资源（图4）。
图4.由2.8 GHz Intel Xeon E3-1505M v5 CPU提供算力的HP ZBook上播放AV1视频
在2019年5月23日，Mozilla宣布将dav1d解码器集成到Firefox中，这应该进一步降低此过程所需要的CPU资源。Mozilla的报告中还称，使用Firefox Beta播放的视频中有11.8％使用了AV1，高于3月份的3％和2月份的0.85％。大部分流量可能来自YouTube，后者发布了AV1播放列表。此外，Google软件工程师StevenRobertson在2018年的Demuxed上承诺，YouTube将在2018年10月底之前实现每秒传输1TB的AV1编码视频；Netflix还在2018年9月发布了一些AV1编码视频供公众使用。
然而，正如我们在2018年报道的那样，Netflix将其1080p视频编码为6.7Mbps，而YouTube则为5.1Mbps，因此两家公司都没有推动画面质量的进一步提升。虽然Facebook声称AV1与x264相比节省了51％而与VP9相比节省了32.5％，但该公司尚未公开表示它正在公开发布AV1编码的视频。此时，在基于AV1的比特流标准确立一年之后，我们不知道是否有任何公司实现了Facebook声称的比特率节省。
我们知道编码时间已经急剧下降。当StreamingMedia.com在2018年8月首次关注AV1编码时，编码时间比实时长45,216倍。在2019年3月的测试中，这比实时时间缩短了147倍。在2019年NAB展会之前，英特尔和Netflix宣布推出SVT-AV1，他们声称在英特尔Xeon可扩展处理器和Intel Xeon D处理器上运行能够实现4K / 60p 10位实时编码。（图5）。
图5.据报道，SVT-AV1能够在某些Intel CPU上进行4K / 60p 10位实时编码
什么是质量打击？关于这一点我们还不得而知，但AOMedia发布的SVT-AV1和AV1版本之间的质量差异应该会随着时间的推移而减少，这就是现状。
根据BBC的说法，AV1是以谷歌的VP9规范为基础构建的。为此，各种AOMedia成员提出了不同的“工具”以将AV1包含在编解码器中。至少在开始时，必须使用正确的工具把螺栓成功固定到编解码器架构中，而不是简单的集成以获得最大的编码效率。这就是为什么AV1的编码时间在编解码器开发过程中出现飙升现象的原因。
英特尔的SVT旨在实现“将编码器内核拆分为独立运行的线程”每个线程处理输入图像的不同段，它们在不同的处理器内核上并行运行同时不会造成任何保真度损失。这加快了像Intel Xeons这样的多核CPU的编码速度。但是将AV1移植到SVT架构始于该核心功能，并可实现随着时间的推移添加不同的工具。因此，任何SVT编解码器的版本都不会达到与同一编解码器的稳定版本相同的质量，但随着时间的推移，二者的差距会逐渐缩小甚至消失。
因此，在过去的12个月中，AV1展示了编码和播放效率以及大量的浏览器支持成果，同时也展示了版权费用的未来发展。
VVC
VVC是由MPEG和ITU共同开发的下一代（在HEVC之后）标准化编解码器。质量目标是在维持相同画质不变的前提下比HEVC降低30％的比特率。尽管该编解码器计划在2020年底之前正式商用，但现在与其相关的一系列质量对比已经展开。
BBC所展示的对比结果如如图6所示，其中JEM代表VVC联合探索模型，HM代表参考HEVC模型。如2018年国际广播公约所发布的题为“MPEG和AOMedia中最近的视频编码发展概述 ”的论文所述。该研究包括客观和主观测试。
