在寸土必争的Codec市场，几股力量正面交锋，格外精彩。HEVC(H.265)壮志雄心，H.264老当益壮，AV1来势汹汹（据说AV2也在计划中了），Codec展现出一场激烈与繁荣的景象。本文来自李大龙的投稿，文章总结了几大Codec阵营的状态与策略。对于B端用户和C端消费者而言，竞争是件好事情。
文 / 李大龙
距离2013年HEVC标准正式定稿问世已经过去5年，按照视频编码技术10年一个朝代的历史规律，2018年本该是HEVC一统天下、俯视寰宇的黄金时代，然而近年来在AI技术加持下结合感知编码(CAE, Content Aware Encoding)理念的H.264/AVC在本应是启后交接的暮年，反而因其相对清晰的专利版权收费、毫无争议的全产业生态支持度以及良好的算法性价比，呈现出一副“老骥伏枥、志在千里”的业态。
王权更迭未终，而间隙已成——2015年开放媒体联盟AOM(the Alliance for Open Media)成立，初期其核心构成为Google、Mozilla和Cisco，及包括Microsoft、Intel在内的明星成员，工作目标是打造开源视频编码标准AV1，且期望其压缩性能对比HEVC提高一倍左右。联盟成员短时间内迅速扩散至Amazon、Facebook、Hulu、Netflix、Broadcom、Nvidia等诸多业内重要企业和机构，尤其是2018年元旦刚过，许是为了应景新年新气象，Apple出乎意料、一反往常观望态度，宣布加入AOM，一时之间，业界上下，欢呼与掌声齐鸣、鸡血共鸡汤一碗。至今年(指2018年，下文同)6月，AV1标准正式定稿；10月，正式发布的Chrome浏览器70版本，支持AV1(软件)解码器；11月头，FFmpeg 4.1正式版支持MP4/WebM容器下的AV1媒体文件，而其最早对AV1裸码流的解码支持可追溯至4月份发布的FFmpeg 4.0版本；11月末，VideoLAN主席在其博客上对外透露，由AOM赞助，VideoLAN、VLC和FFmpeg联合开发的AV1解码器dav1d将AOM官方的解码器版本libaom性能提升100%、最高至400%，并期望在Firefox 65上集成。
开源方先机在手，MPEG方岂会坐以待毙。HEVC的继承人召唤仪式，Call for Evidence于2017年7月启动；同年10月发出英雄帖CfP(Call for Proposals)，各派应召高手围绕公定的测试序列集合开始憋大招。至今年4月，32家公司机构、共计46份方案提交完成评测，结果显示：相比HEVC，保持相同主观图像质量情况下，新编码标准可以节省50%码率。仅从技术进步的角度看，这当然是振奋人心的结果，但参考开源AV1的高调，似乎更加是维持心理预期底限的结果。关于新一代编码标准的代号，也从此前相传已久的FVC(Future Video Coding)正式定为VVC(Versatile Video Coding)。相比低调朴实的future，versatile显得高调而急迫，这是否也预示着如今强敌在侧的VVC在其未来的定标和推广之路将充满变数和挑战。
HEVC：登“极”道路阻且长
云端转码服务商Encoding.com根据其在2017年为3000多家媒体和娱乐客户提供的转码服务细分数据，输出的年度技术趋势报告中指出：H.264/AVC使用率从上一年的79%增长至81%，而HEVC使用率仅从3%上升至9%。两者使用率不仅天上地下，而且如果再往回翻看下同样是Encoding.com在2016年输出的趋势报告，甚至可以发现：HEVC在2016年利用率从6%腰折至3%，这大概严重偏离了HEVC作为H.264/AVC继任者应有的态势。
图 1 Encoding.com 2018全球媒体报告 - 视频格式份额
再参看一份发布于今年9月份，由流媒体服务商Bitmovin根据其分布在全球67个国家中的456个合作方的调研数据而整理的视频开发者报告，其中关于“正在使用的视频Codec”数据项(如图 1所示)表明：H.264/AVC的选择率高达92%，但相比2017年下降了3个百分点，而HEVC的选择率由2017年的28%跨越式增长至42%。但值得关注的是，在被询问“未来12个月计划使用的Codec”选择中(如图 2所示)，HEVC反而由2017年的40%下降4个百分点。
图 2 Bitmovin 2018开发者报告问卷题-当前codec的选择
图 3 Bitmovin2018开发者报告问卷题-未来12个月codec的选择
两份报告虽然数据来源不同，但从数据层面大体都能看出一个结论：HEVC接替H.264/AVC的速度低于预期。如果再次对比下开源AV1的进展，包括其自身的前代，同样开源且已经处于应用期的VP9，我们甚至可以得到一个最为悲观的预测：HEVC全面替换H.264/AVC、成为压缩“极限”代言人的日子恐怕永远不会有了！
HEVC登“极”之路阻且长，罪魁祸首必然归结于其复杂的专利版权结构。如图 4所示，不同于H.264/AVC的唯一专利池MPEG LA，HEVC的专利池机构有3家，且还有若干专利所有方游离在专利代理之外。这意味着此前收费谈判的单挑模式，裂变成“3 X”模式。其次，3家专利池阵营在内容版税问题上态度模糊。这里除MPEG LA从未征收内容版税外，HEVC Advance直至2018年3月才明确删除了与流媒体内容相关的版税条款政策。而VELOS MEDIA直至现在也未明确表态，甚至拒绝澄清相关政策。所以，我们需要明晰一个观点：关于HEVC版权费用，可怕的不仅是高昂，而且更忌惮其不可评估性。回到价格本身，参考H.264/AVC的案例，依据MPEG LA收取订阅费和按次数计算的流媒体服务使用费的政策，2017年Apple向Nokia支付了20亿美金。HEVC的专利大棒还不知会如何打下，so Winter is Coming?
图 4 HEVC知识产权所有者阵营图
或许是版权收费的不明朗直接影响了播放终端上的生态发展，相比H.264/AVC几乎是每台智能终端设备面世时的最低标配，主流平台对HEVC的支持显得谨慎和缓慢许多。Android对HEVC的支持虽然最早可至2014年发布的5.0系统，但实际的解码表现依赖手机硬件。iOS更是于去年发布的iOS 11版本才正式支持HEVC，而如果想获得高效的硬件解码加速则需要手机芯片是A9及其后代系列。移动端Native的支持情况尚属“缓慢”或者“尴尬”，那么参看图 5所示的浏览器阵营，HEVC的生态环境就只适用于惨淡二字了。
图 5 浏览器平台上的H.264/AVC与HEVC生态(红色为不支持相应Codec格式)
相比版权结构的基因性缺陷和生态链的不服水土，近年来AI技术导向下的感知编码(以下简称CAE)则让HEVC有点走天时的背运。CAE的技术细节不属于本文讨论范畴，需要指出的是，目前的AI辅助编码，例如常见的Per-Title或者Per-Scene/Per-Segment架构，对Codec的改造并非in-loop方式的，这带来了天然的码流兼容性优势，同时也使得其大规模部署几乎完全解耦于具体Codec，而仅是AI参数的业务属性fine-tuning。作为如今部署规模最大且编码代价最小的标准，H.264/AVC受益程度自然最大。从我们自身业务实践及同行公布的情况综合看，结合CAE后同等主观质量下，码率普遍可节省20%、特殊场景设置高达40%。而这20%～40%的码率节省，难道不就是HEVC作为H.264/AVC继任者的初心吗？
鸡汤大师常告诫芸芸众生，作好预期管理是提高人生幸福感的强大武器。这或者同样适用于HEVC后续的道路，即作为从业者我们不要再奢望HEVC可以统一内容制作，需要长期应对至少2套格式的存储和分发，以及终端的各类适配性问题。但针对HEVC短期可见的利好，笔者认为至少包括：
- 在运营商改革裹挟而来的降价提速、硬件参数赛跑下的手机更迭、以及各种主打性价比的家庭客厅设备等诸多因素影响下，分辨率经济，终于如从业者所愿，步伐缓慢但坚定地来到了4K年代。分辨率越高、带宽压力越大，HEVC愈发是“真香”！
- 如果把理想中高品质的视频服务比作美女，4K是其高挑婀娜的身姿，那么动人心魄的美颜就是HDR(High Dynamic Range)、迷人心窍的肤色就是WCG(Wide Colour Gamut)。10-bits甚至更大位深的格式编码，HEVC同样能节省更多的码率。
- Apple的迟到总归好过其缺席，而且由于iOS/macOS天然的闭环模式，使得其面对开发者而言是个很稳健的HEVC Framework/API选择，这会大大激发Apple体系下HEVC的推广覆盖速度。
- 同样在今年伊始，时间上也就是Apple宣布加入AOM此后的几个星期，MPEG创始人兼主席Leonardo Chiariglione在其个人博客上发表了题为A crisis, the causes and a solution的贴文，其中有段言辞略显激烈，不禁让人幻想其内部政策松动的可能性：
At long last everybody realizes that the old MPEG business model is now broke, all the investments (collectively hundreds of millions USD) made by the industry for the new video codec will go up in smoke and AOM’s royalty free model will spread to other business segments as well. “所有人终于意识到，MPEG陈旧的商业模式已经破裂，在新的视频codec，即在HEVC上数以千万美元的投资正灰飞烟灭，而AOM联盟版权免费的模式将会拓展到其他商业环节中。”
AV1：挑战者的血脉延续
翻开AV1的家族历史，最早甚至可以追溯至上世纪九十年代，其荣耀事迹主要是作为Macromedia Flash文件的Codec方案，几乎构成那个年代网络视频的代名词。这支不容小觑的技术派系无论其名字还是On2时的商业技术服务商，还是Google收购后成为开源版图的一块，其血脉中倔强地保留了挑战者的基因。H.264/AVC扬帆起航时，On2已被Google收购，VP8作为后者开源项目WebM的构成，首次挑起专利版税与开源免费之间的战斗。而结果更为后来人所津津乐道的是，当年两派围绕到底谁强谁弱的口水持久战。本来完全客观的数字量化比较，在不同机构和个人手里，愣是没完没了在测试序列样本选择、算法工具参数设定、测试环境限制条件(时延、实时、离线等等诸如此类)上面纠缠不清。
图 6 视频编码标准发展编年图(来自AOM官网)
唾沫横飞伴随H.264/AVC一路接替MPEG 2/H.263/H.263 /MPEG4 Visual，直至VP9定标、率先接替自家的VP8。VP9性能优于H.264/AVC，倒是终于获得江湖认可。然而，好景不长，因为HEVC也贴着脚后跟发布了。这样关于HEVC与VP9的高低争论，在各自接过老一辈的衣钵后得以顽强延续。今年年中，AV1定稿，部分渠道测评显示其压缩性能优于HEVC。尘埃落定了吗？君不见H.266/VVC已经完成CfP！用人话翻译下，就是说用于测评跑分和打嘴炮的武器雏形已经就绪！同样的套路十余年来玩3次，是不是不再惊喜、不再意外了？
回到对AV1的单纯技术参数讨论，目前较为被广泛采信的数据来自MSU与今年伊始发布的MSU Codec Comparison 2017技术报告。在给定质量前提下，计算各待评测Codec平均码率，(如图 6所示)以x264作100%基准计算，那么x265 3pass编码码率为67%，而AV1为55%——显然AV1优于HEVC，码率节省约18%。这似乎符合预期，因为AV1更强；但似乎也不太符合预期，因为AV1不如想象中强，此前AOM提及较多的愿景目标，是节省30%～50%！
图 7 Average bitrate ratio for a fixed quality - use case "Ripping Encoding", all sequences, YUV-SSIM metric. from MSU Codec Comparison 2017
除此之外，再听听来自江湖的声音，全球知名研究机构和科技展会方IBC在今年3月刊登题为Codec Wars: The battle between HEVC and AV1的文章，其中引用Bitmovin的产品孵化测评结果认为AV1 is up to 30% more efficient than HEVC；但同时作为相反观点，文章援引Ultra HD Forum主席Thierry Fautier的对立态度，认为针对AV1的结论yet to be verified by independent sources(AV1的性能表现尚未能被独立机构或渠道多方证实)。同为IBC，在9月份又发布了一篇类似话题讨论的文章HEVC, AV1, VVC and XVC: The codec battle intensifies，文中更是有段截然相反的描述：
Some studies by enthusiasts of HEVC have suggested that it performs about 30% better than AV1. Others, by supporters of AV1, have suggested that it outperforms HEVC by about 40%. A reasonable conclusion is that they are roughly comparable in compression efficiency. 来自HEVC蜜的研究指出，HEVC领先AV1约30%；与此相反地，AV1蜜则认为AV1优于HEVC约40%。看来较为理性公平的结论是两者在压缩效率上不分伯仲、难分高低。
关于AV1含金量的争论势必持续，这几乎也是VPx系列Codec的必由之路，好比整装待发的大军必先杀牛宰羊洒狗血，祭旗后开拔出征。构成Codec这枚钱币的一面是压缩效率，另一面则是计算性能。关于AV1的计算性能，则几乎毫无争议。一“字”以蔽之，曰：慢！MSU的测评报告比较有代表性，其原文表述为AV1 encoder has extremely low speed – 2500-3000 times lower than competitors！从目前业内较多的表态看，大家的心理预期是在编码端至多不超过10倍于HEVC/VP9的计算复杂度，而在解码端控制在2～4倍比较合适。从笔者几次现场聆听Google视频编码团队关于AV1的技术分享来看，AV1的性能优化已属工作组重要方向之一，且会更高优先级保障其在点播压缩场景的应用，暂不太适用于RTC类的低复杂度、低时延类应用。
以上关于AV1的信息，从目前剧情发展来看“还是一样的配方、还是熟悉的味道”，但在笔者看来最大、也是最明显的区别在于，AV1虽然仍为Google主导(此点官方或有所异议)，但背靠AOM。这里的遐想空间不仅是应用推广期能尽快形成众人拾柴火焰高的局面，而且在标准制定过程中也能吸收各方的提案，减少其他专利方的掣肘。以下概括AV1标准的主要算法工具：
- 支持更大的编码单元划分和更多的划分模式，最大划分块尺寸为128x128。
- 帧内预测包括4个主要工具：多达56种的方向预测、支持亮度分量预测色度分量像素值、新增应对单一色调场景的调色板模式，以及可大幅提高屏幕内容压缩效率的帧内拷贝模式。
- 帧间预测支持8个参考帧和基于分层结构的双向预测、引入非常适合线性运动物体的运动场投影预测、使用动态索引来编码运动向量、支持包括楔形分割预测模式在内双向预测，另外还使用仿射变换来模拟物体实际运动中的卷曲和形变。
- 频域变换支持DCT/ADST/fADST/IDT，且支持多种变换尺寸及类型组合。
- 环内滤波除传统deblocking工具外，还新增约束方向增强滤波器(CDEF, Constrained Directional Enhancement Filter)、帧超分辨率重建、环内重建滤波器，以及电影颗粒胶片效果合成器。
VVC：仰望星空的王储
对H.266/VVC代号中versatile的含义，相比本文开头的调侃，我们或许能从MPEG工作组于2016年10月在中国成都召开的Workshop on MPEG Roadmap中找到更多的线索。在于次年公布的会议文档(ISO/IEC JTC 1/SC 29/WG 11 N17061)中，我们可以看到(如图 8所示)专家组给出的5年战略规划，其中非常清晰地指明了未来编码标准所服务的新媒体和业态——VR/AR、光场、点云和沉浸式媒体。而面向新媒体，我们此刻的技术水平，行业内的描述为“Hologram compression today is like video compression in 1988”、“Hologram streaming today is like video streaming in 1997”。基于此，H.266/VVC的历史使命就包含了为新兴媒体形式提供高效的压缩工具，为高效传输打下源头基础。这里我非常认可也直接引用RWTH Aachen University的Mathias Wien在其近期讲座中对VVC代号中versatile一词的解读：VVC should be usable for many types of data, including
- SDR and HDR up to extreme high resolutions
- All kind of camera generated content
- Computer generated content
- Non-camera video modalities e.g. medical data
- 3600, light-field, depth, and volumetric video
图 8 MPEG标准化路线图
更为直观的解读，我们还可以直接从H.265/HEVC与H.266/VVC各自的召唤仪式CfP测试序列中找到，前者启动于2010年的1月，后者在七年之后于2017年的10月。笔者整理了下表，可以看到VVC测试序列的底线甚至已经达到1080p，也即为当下国内在线视频服务定义的高用户规格的蓝光档次。
最终针对VVC的CfP共有46份提交，其中SDR类22份、HDR类12份以及面向360全景类12份。上述提交在性能测评阶段的对比参照包括HEVC HM和JEM(Joint Exploration Model)，后者早在2015年左右已经启动，旨在前瞻性地为HEVC增加或者替换修改若干算法工具以“探索”超越HEVC性能的技术可行性。这既是标准化组织的常用手法，也为2017年的Call for Evidence和最终的CfP奠定了研究基础。
CfP评测分为主观MOS打分和客观质量测算两个部分，客观质量仍用PSNR度量，并未使用业界逐渐推广的VMAF模型。客观质量对比结果表明：在SDR序列组别上，优秀的CfP方案相比HEVC可降低40%以上的码率、相比JEM也可降低10%以上。在HDR和360全景序列组别上，上述码率节省也保持在类似的区间段内，部分方案虽然和JEM压缩性能表现类似，但计算复杂度/时间方面能有显著降低。主观质量统计的方式略有不同(计算MOS分高低的用例次数)，但对比结果也类似：在所有测试序列组别上，领先的CfP方案相比HEVC大约降低40%的码率、在更高分辨率的SDR UHD序列上可降低约65%的码率。
从CfP提交方案中使用的算法工具可以大体整理出VVC相比前代创新的脉络：
- 更大、更细腻的块区域划分，非对称、几何划分
- 帧内块拷贝、全局图像参考
- 更多的模版匹配，更多线性或者非线性的预测方式
- 解码器端实施的运动信息/模式、帧内/帧间编码下像素预测值生成
- 更多非线性、去噪或者基于统计特性的环路滤波设计
- 编码器端实施的基于神经网络的预测、环路滤波器、上采样等
虽然从MPEG工作组的远景规划来看，VVC相比HEVC除了单纯压缩效率的提升外，更是仰望星空、面向未来媒体形式和新兴应用的王储人选，但毕竟如今江湖救急，AV1棋局先手，VVC难免今后被处处两相比较。笔者不妨先将HEVC、AV1和VVC各项工具列表整理一番，需要强调VVC信息来源截止至今年10月份澳门会议，并感谢微信团队编码专家的收集汇总。
HEVC | AV1 | VVC | |
|---|---|---|---|
Partition | - 64x64 MAX CTU- 64x64 to 8x8, quad-tree CU- Flexible size PU- 32x32 to 4x4 TU | 128x128 to 4x4, recursively | - 128x128 MAX CTU- 128x128 to 4x4 CU- 64x64 MAX TU- Quadtree with nested multi-type tree using binary and ternary splits segmentation structure (QTBT TT) |
Intra-Prediction | - 33-dir modes- DC mode, planar mode | - 56-dir modes- 10 smooth modes- Chroma from Luma- Palette mode- Block copy | - 67 intra prediction modes- Wide-angle intra prediction- Cross-component linear model prediction （CCLM）- Position dependent intra prediction combination (PDPC) |
Inter-Prediction | - 17 ref. PU- Multi-candidate MV pred. with spatio temp. region merging- Luma: ¼-pel 7-tap, ½-pel 8-tap- Chroma: 4-tap | - 7 ref. frames, pick 1 (single pred.) or 2 (compound pred.)- Spatio temp. MV pred. (motion field projection)- OBMC, masked compound pred., warped MC, global MC | - Affine motion compensated prediction- Subblock-based temporal motion vector prediction (SbTMVP)- Adaptive motion vector resolution (AMVR)- Motion field storage: 1/16th luma sample MV storage and 8x8 motion field compression |
Transform | - DCT, DST- 32x32 to 4x4 square rect. | - DCT, ADST, fADST, IDTX- 64x64 to 4x4 square rect. | Multiple transform selection (MTS):DCT-II, DST-VII and DCT-VIII |
Quantization | flat, default/custom weighting matrix | Delta_q, matrix | - Perceptually optimized quantization- Dependent quantization |
Entropy Coding | CABAC, 支持并行化 | 多符号算数编码, 分层编码 | CABAC, Multi-hypothesis probability estimation |
In-loop filtering | - De-blocking filter- Sample adaptive offset | - De-blocking filter- Constrained directional enhancement filter- Frame super res.- Film grain synthesis | - Long-tap deblocking filter- 4x4 block classification based Adaptive Loop Filter- Sample adaptive offset |
表 1 HEVC, AV1, VVC算法工具比较一览表
AVS：中国力量
中国数字音视频编解码技术标准(AVS)工作组成立于2002年6月，初衷是设计、实现并推广自有知识产权的编码标准，免除国际标准(如MPEG-2, H.264/AVC, HEVC等)巨额专利许可费，为中国的音视频全产业生态提供技术专利侧的保驾护航。
2006年第一代标准AVS1完成、并颁布为中国国家标准，2007年ITU-T明确AVS1与MPEG-2、H.264/AVC及VC-1并列为IPTV可选标准范围。随后的增强版AVS ，压缩效率对齐H.264/AVC High Profile，于2012年成为广播电影电视行业标准。2013年6月，IEEE组织将AVS1通过为IEEE标准，编号IEEE 1857-2013，国际化再进一步。
二代标准AVS2，目标为主观质量相同条件下，达到AVS1性能的一倍以上。从2008年启动需求分析，至2016年形成标准送审稿，并由广电总局颁布为广电行业标准。同年12月，颁布为国家标准，目前已提交IEEE国际标准申请。
在专利授权费用方面，AVS2一如既往的简明且实惠，仅针对codec设备征收象征性的1元/个、承诺对内容制作和互联网软件服务免费。“价廉”是良心，但“物美”才能得人心，AVS2在压缩效率和性能两端都表现出了同时代匹配的先进性。从今年上半年由北京大学深圳研究生院团队公布的数据看，他们实现的AVS2软件解码器uAVS2d，在全分辨率序列上相比开源的openHEVC平均快2倍左右。同样由该团队研发，面向广电4K频道应用的实时软件编码器uAVS2-4K，在4K/10 bit序列上与官方参考软件HEVC HM(v16.6)相比，压缩效率平均提升7.4%。与业界应用部署广泛的HEVC开源编码器x265相比，uAVS2-4K的优势更加明显，不仅编码效率提高30%，而且编码速度快出40%。
相比前代，AVS2的改进不仅体现在算法性能本身，而且其自身的推广也更具互联网速度。硬件侧，支持AVS2 4K解码的华为海思、MStar芯片已经用于广电IPTV产品。互联网应用侧，通过与腾讯音视频实验室合作将AVS2技术应用于图片编码，比老牌JPEG图片压缩效率高45%以上、比Google发布的WebP标准高20%以上，而应用到动图上，可将GIF文件大小减小85%以上。在参与国际化方面，今年AVS工作组与IEEE 1857工作组联合制定了VR视频编码标准，可节省约7成的VR视频传输带宽，为业内第一个落地应用的VR视频标准。基于此标准，优酷团队实现了端到端VR视频云服务，可提供面向移动互联网应用的4K/8K VR视频业务。今年4月，国外4K TV行业影响力最大的产业组织UHD Forum将AVS2吸纳为4K技术规范，与HEVC并列作为候选技术，推荐给全球TV和视频运营商。
AVS成立十余年来，且抛开技术和产品方面的成就不说，仅就其对国内音视频行业人才、氛围、观念及产学研生态的积极带动力就已经是不折不扣的功在千秋了。从十年前更多的对抗意味，到如今走向行业共荣，包括AVS视频组组长虞露老师被任命为MPEG视频组组长，都无不映射出对中国力量的认可和期待。如今，AVS3业已启动，在加入智能编码等更多时代特征的工具和理念下，明年晚些时候看看能给我们带来怎样的振奋和欣喜。
其他玩家
xvc是由Divideon开发的一款开源codec，主体设计思路仍然采用现有视频编码标准常用框架，但自称使用了更多可以提高压缩效率的技术，使得整体性能优于HEVC和AV1。xvc codec主要面向流媒体服务场景和低码率视频应用，其具备轻量级的高层语法结构封装以及创新的技术以高效应对带宽自适应中的码流切换需求。
最能引起笔者兴趣的是xvc的专利授权模式，其声称提供一站式证书售卖模式，即xvc的授权用户可获得使用codec所依赖的全部技术专利授权，包括：
- 以源码或者二进制库文件形式，使用和发布xvc codec的权利
- 使用Divideon所持有专利技术的权利
- 借助Divideon专利证书项目而使用相关联的第三方持有专利技术的权利
- 由于使用xvc技术而遭遇专利流氓的赔偿金保护
看看上述最后两条的覆盖面，真的是很地道的“拿人钱财、与人消灾”的江湖气概啊。
与其霸气的专利保障条款相匹配，xvc公布的编码效率数据也堪称硬实。从主页公布的数据看：1)、(如表 2所示)相比1-pass编码配置的AV1，xvc平均节省约20%的码率；2)、(如表 3所示)即使AV1开启multi-pass编码配置，xvc平均码率节省仍然有约15%。以上，笔者表示心疼AV1三秒钟。但需要强调一点，表格中的数据是基于360p这样的低分辨率序列测试的。
表 2 xvc相比AV1(single pass)的码率节省百分比
表 3 xvc相比AV1(multi pass)的码率节省百分比
好比新款手机发布会，iPhone一定是对比和“被超越”的对象，视频Codec发布会自然少不了HEVC。xvc也公布了与现有主流Codec的RD性能对比图，并且包含了720p这样的较大分辨率序列，从图 9中看xvc的性能亦是技高一筹。上述测评数据由xvc发布，最后更新于今年的3月份。考虑到xvc属于私有格式，这天然决定了应用范围会狭小很多，更全更广纬度的评价需要等待时间的验证了。
图 9 xvc与主流codec的RD性能比较(上：360p分辨率，下：720p分辨率)
相比Divideon和xvc的略显陌生，RealNetworks作为流媒体领域最早一批开创者，在国内应该要熟悉太多甚至有几分亲切。在H.264/AVC统一江湖前，RMVB是绝对的压片神器。可惜随着前者推广期到来，以及移动互联网浪潮席卷往日PC的领地，RealNetworks中国市场的光环日渐褪去。留在大家印象中的，可能已经是2012年Intel对其甩出1.2亿美金大手笔的专利收购案了。
在今年10月份北京举行的LiveVideoStackCon 2018音视频大会上，RealNetworks CTO带来名为Continuing Innovation in Video Technology的主题演讲，让这位老牌明星又一次业界公开发声。从分享中可以了解到，RealNetworks最新一代的RMHDTM Codec已经于今年落地CIBN国广星空，主要面向OTT流媒体市场。从公布的数据指标看，RMHDTM达到了同时代HEVC和VP9的技术水准，相比H.264/AVC压缩效率提高40%以上，而编码速度快于HEVC和VP9，在移动端的耗电量仅比H.264/AVC软件解码器高8%～11%。目前关于RMHDTM性能的横向对比数据比较缺乏，只有主题演讲现场公布的两张分别在1080p(如图 10所示)和4K(如图 11所示)序列上的性能曲线图。值得关注的是，可以发现RMHDTM对图像质量的衡量采用了近来渐趋流行的VMAF评价体系。另外，可以看到RealNetworks对1080p HD这样的较高分辨率片源更加关注，这显然与RMHDTM 主要部署在OTT平台有关，而如此的关注点和上文出现的xvc又刚好是两个相反的细分。
图 10 RMHDTM在1080p序列上的压缩性能对比
图 11 RMHDTM在4K序列上的压缩性能对比
后记：如何在视频行业中优雅地吃瓜
眼下我们似乎处于最好的时代，因为有以上林林总总的选择，但似乎也是最坏的时代，同样因为有以上林林总总的选择。作为笔者一样，在视频行业中不直接参与视频编码标准制定或者不直接参与Codec硬/软实现的吃瓜群众们，我们如何优雅地扮演有含金量的“技术甲方”呢？
- 眼光要深，——务必深入自己的业务场景。眼下各路神仙打架，不同渠道和角色发布的评测数据难免差异，有的甚至是相互矛盾和结论颠倒。这并非暗示有些研究机构或者开发团队故意数据舞弊，而是Codec实际性能表现与输入图像序列的特征、Codec参数配置等外部因素有很大关联。这也就要求从业人员，不要有紧随技术潮流的盲目心态，不要过分信赖和依据外部评测数据来作自身内部的方案决策。务必审视自己业务的特征和实际需求，例如头部比例用户场景的视频图像分辨率、码率和帧率要求，最核心用户体验指标的构成，主要内容来源的构成和特征等，并结合自己动手实际测试结果，再来做出评判和选择。
- 眼光要远，——充分考虑未来一段时间的市场机遇和商业模式。当前中国互联网整体转型，人口红利不再、ToC模式到达饱和，拥抱产业互联网、面向ToB市场的兴起，视频技术决策者既需要高度关注类似超高清、HDR/WCG、DRM对Codec的能力要求，也务必考虑ToB市场、出海战略与传统国内ToC玩法的不同，对例如所涉开源组件的规范应用、片源内容编码版税、前后端Codec设备专利费等环节需要提高重视程度。
- 眼光要广，——围绕技术生态综合预判Codec的使用走向。视频技术生态包括内容产生、制作、存储、分发、传输和回放，除了单纯的Codec外，还牵扯到容器格式、流媒体传输协议、终端平台、软件实施、硬件芯片、显示设备等很多环节，全局性思维才能够在成本、体验、兼容性/稳定性之间找到最佳的权衡。这里最典型的例子，莫过于H.264/AVC之于视频格式、JPEG之于图片格式。视频业务的玩法，如今越发讲究共享、互动与全平台/多渠道传播，这也更要求我们对技术生态的把握和理解。
2018年，HEVC在其全盛之年尚未完成登顶之路，H.264/AVC在全球范围仍显现出强大的控制力。AV1终于定稿、迎来应用推广的窗口期，昔日On2的孤军奋战变成今时的八方会师，这会是最终胜利的“复仇者”联盟吗？面向未来新媒体和应用的VVC，全面完成召唤仪式，虽然前期测试结果是颗强力药效的定心丸，但距离2020年定稿还有漫长的2年，不知期间会有多少风云变幻。AVS2代表的中国力量正在快步走向舞台，与之共唱大戏的有熟悉的身影，如HEVC、AV1，也有些许陌生的面孔，如xvc、RMHD，这场迫在眉睫的混战，伴随2018年最后的时光，完全拉开了序幕。
