HDR年终盘点
1. HDR视频技术简介
1.1 HDR技术概述
在5G AI的大时代背景下，超高清（UHD）视频将取得更快的发展，不单是在传统的广播电视领域，而且在互联网视频、OTT领域也会有越来越多应用上线。超高清视频不仅在分辨率、帧率上有提升，更重要的是体现在高动态范围（HDR）和宽色域（WCG）上。与传统的SDR视频相比，HDR视频具有更高的亮度范围、更宽的色域范围、更深的位深（10bit/12bit）。
2020年，苹果公司宣布了iPhone 12系列手机对于HDR视频的支持，成为了HDR发展的一个重要的里程碑。苹果采用了杜比公司的Dolby Vision技术，在手机上就可以实现HDR视频内容的拍摄、录制和编辑，极大地降低了HDR视频内容创作门槛。
HDR视频的对比度更高，尤其是在一个画面里亮部和暗部对象同时存在的场景，HDR更接近人眼对于物理世界的感受。另外，HDR视频颜色更加丰富，色彩饱和度更高，更贴近于人眼看到的实际生活场景。如下图所示，与左边的SDR对比，HDR视频有更好的亮部和暗部细节。
1.2 HDR视频三要素
1.2.1 高动态范围
HDR是高动态范围（High Dynamic Ranging）的缩写，与传统的SDR相比，可以显示更大的亮度范围。举一个例子，如果我们白天用手机在室内对着窗户拍照，就会发现如果室内的场景拍摄清晰，窗户的部分就会出现过曝；反之，如果我们将窗户的部分拍摄清楚，可能室内的部分就会非常的昏暗。这种现象就是动态范围不足导致的。下图说明了人眼能够感受到的最亮和最暗的范围，以及HDR和SDR定义的亮度范围。
高动态范围这个词最早来自图像领域，多次曝光的方式被用来合成HDR的图像。最早在1997年的SIGGRAPH（由美国计算机协会计算机图形专业组组织的计算机图形学顶级年度会议）上，Paul Debevec提交了题为“从照片中恢复高动态范围辐射图”的论文，描述了按照不同的曝光设置对同一个场景进行拍照，然后将这些采用不同曝光的照片组合成高动态范围图像。这种高动态范围图像可以捕捉从黑暗的阴影到亮光源或者高反光的更大动态范围的场景。实际上iPhone或者Android智能手机拍摄HDR照片，就是采用了多次曝光后进行合成的方式，补足了亮部和暗部的细节部分，使得拍摄的图像更贴近人眼看到的效果。[1]
1.2.2 宽色域
宽色域（WCG）是HDR视频的第二个重要特性，能够表示比现行的SDR视频系统更宽的色彩范围。SDR视频采用的是BT.709的色彩空间，只能涵盖CIE 1931色彩空间的35.9%，而采用BT.2020的HDR视频占比可以达到75.8%。这样在显示器上呈现的图像与实际物理世界也会更加贴近。
1.2.3 高位深
传统的SDR视频是用8 bit位深来表示，BT.2020 标准提高到了 10 bit /12 bit，从而使灰阶过渡更加平滑，可以提升图像的细节表现，这意味着图像具有更加丰富的颜色表现。除此之外，BT.2020 在 Gamma 校正方面也进行了一定的修正。[2]
1.3 光电/电光传递函数（OETF&EOTF）
人眼对于物理世界的感知是非线性的，即对于中等亮度和暗部区间的敏感程度远高于高亮度区间，于是就有了SDR领域的Gamma曲线。我们倾向于用更多的比特数来表示中等亮度或者暗部的区域，以提高压缩率，取得更贴近人眼的效果。
在HDR时代，Gamma曲线已经不能满足最大亮度的需求。基于人眼的对比敏感度函数（Contrast Sensitivity Function，CSF），在SMPTE ST 2084标准中规定了EOTF曲线，就是感知量化（PQ）曲线。亮度范围可从最暗0.00005 nits到最亮10000 nits。PQ曲线最早是由Dolby公司开发的，并且在ST 2084中进行了标准化。
混合对数伽马（HLG）是另外一个重要的HDR传输曲线，由BBC和NHK公司开发。这个曲线与PQ曲线不同，HLG规定的是OETF曲线，因为在低亮度区域基本与Gamma曲线重合，所以提供了与SDR显示设备很好的兼容性，在广播电视系统里有着广泛的应用。HLG曲线最早在ARIB STD-B67中进行了标准化，后面也进入了ITU-R BT.2100。
上图来自SONY
1.4 色调映射
色调映射（Tone Mapping）是一个将HDR的图像或者视频转换成SDR的图像，并在SDR显示设备上正确显示的技术。目前HDR的内容还不是很多，HDR和SDR混合的内容会长期存在，而且能够支持HDR显示的屏幕是非常匮乏的，要让HDR的内容能够有一个正确的显示，色调映射是一个经常用到的技术。
1.5 HDR元数据
HDR的元数据表示描述视频或图像处理过程中的关键信息或者特征， 主要有两种：静态元数据和动态元数据。
静态元数据规定了整个片子像素级别最大亮度上限，在ST 2086中有标准化的定义。静态元数据的缺点是必须做全局的色调映射，没有足够的调节空间，兼容性不好。
动态元数据可以很好地解决这个问题。动态元数据主要有两个方面的作用：与静态元数据相比，它可以在每一个场景或者每一帧画面，给调色师一个发挥的空间，以展现更丰富的细节；另一个方面，通过动态元数据，在目标显示亮度上做色调映射，可以最大程度在目标显示器上呈现作者的创作意图。
SMPTE ST 2094标准中定义了一系列的动态元数据。ST 2094-10、ST 2094-20、ST 2094-30、ST 2094-40分别给出了杜比、飞利浦、特艺和三星四家公司的动态元数据和色域转换的方案。
1.6 HDR生态系统
从我们的讨论来看，HDR技术不是一个单点的技术，而是一个端到端的生态系统。从下图中可以看到，前端摄像机的拍摄开始就需要HDR的设置，之后的后期制作环节需要导演和调色师一起，确定片子的风格。调色师可以在每一帧、每一个场景上进行调色，调色后的结果会以元数据进行存储。随后进入编码环节，将采集的电信号用视频编码的方式，嵌入元数据，传输至解码端。播放器在解码的时候，提取元数据，根据动态元数据进行动态映射和色彩校正。
上图来自Philips
在整个生态系统的每一个环节，都有很多核心的技术供应商和厂家进行支持。由于各个标准之间技术不统一，各家之间的竞争也是异常激烈，形成了开放与商业授权，效果与兼容性之间的矛盾持续存在的现状。
2. HDR的技术现状
2.1 HDR视频的标准
HDR有很大的潜在市场，经过多年的发展，目前有HDR10、HLG、HDR10 、Dolby Vision等多个竞争的标准。HDR10具有开放和免费的优势，但是静态元数据兼容性不足；HDR10 则通过添加动态元数据的方式，提供了更高的画质质量。Dolby Vision具有非常强的技术竞争优势，但它是一个封闭的生态，商业授权费用很高。下表对各个标准做出了一些对比的总结。
2.1.1 HDR10
HDR10是比较基础的一个版本，也是一个开放的标准，于 2014 年被采用。HDR10 由于其易用性和免许可费而获得广泛的接受。该标准描述了符合 UHDTV Rec.ITU-R BT.2020 标准建议的视频内容。HDR10采用的是PQ EOTF传输曲线，SDR显示器不兼容。HDR10采用了静态元数据，主要有三个部分组成：
- SMPTE ST 2086：描述了渲染内容的显示器能力的要求，比如颜色、白点、最小最大亮度
- MaxFALL（Maximum Frame Average Light Level）：表示整个视频任意一帧的最大平均亮度
- MaxCLL（Maximum Content Light Level ）：表示视频里最亮的像素水平
因为不能满足不同场景或者不同帧调色的需求，所以HDR10的效果展现能力比较有限。
2.1.2 HLG
HLG标准出现于2015年，是由英国BBC公司和日本的NHK电视台共同开发，也被广泛采用。该标准描述了符合 BT.2020 要求的内容。如前所述，HLG广泛地应用到广电系统中，有很好的兼容性。
2.1.3 HDR10
HDR10 是三星提出的用于对抗Dolby Vision的技术，在HDR10的基础上，添加了动态元数据的支持。可以针对每一个视频场景或者视频帧进行亮度和色彩的调节，支持动态色调映射，向后也可兼容HDR10的格式。
2.1.4 Dolby Vision
Dolby Vision是杜比公司具有知识产权的技术，需要授权费用才能使用。也因为需要授权费用，所以内容还不是特别丰富。Dolby Vision实际是国际上首个推出的商业化版本的HDR标准，具备非常强的竞争力。它采用动态元数据，可以最高支持10000 nits的峰值亮度。为了增强码流播放和显示兼容性，设计了众多的Profile支持不同的应用。
iPhone手机拍摄的HDR视频就是采用了Profile 8.4，可以看到其传输曲线是HLG，色彩空间是10比特，采用HEVC 10bit(色度格式4:2:0)的编码。
2.1.5 HDR Vivid
HDR Vivid是CUVA联盟推进的国产HDR标准，主要有有三大核心技术：动态元数据（Dynamic Metadata）、色调映射(Tone Mapping)和饱和度调节（Saturation Adjustment）。
HDR Vivid在现有HDR标准的基础上，增加了动态元数据，为显示终端提供了更加准确的动态范围映射方式，最大限度还原HDR内容原有的艺术效果。与业界私有HDR技术相比，HDR Vivid是一种更开放更普世的技术标准及开放方案。对产业各方来说，技术开放性以及安全性都更适于产业部署。[3]
通过CUVA标准的形式，定义了超高清视频呈现处理HDR过程，截止到2021年的10月份，CUVA联盟总共发表了3个部分的标准：涵盖从元数据和适配、应用指南和技术要求到测试方法标准的规定；其中第2部分，也包括系统集成和后期制作两个子部分；第3部分的测试包括显示设备、便携式显示设备、播放设备和播放软件这4个子部分。
制作端可以不修改已有的HDR10和HLG HDR制作流程，只增加动态元数据产生环节。采用符合调色习惯的图形界面，协助制作人员人工调试HDR Vivid动态元数据。提供自动化动态元数据生成工具，支撑大量内容的批量生产，降低开发成本。在元数据的Codec传输上，支持HEVC/AVS2/AVS3/VVC元数据的适配。
2.2 竞争业态的分析
HDR技术和系统包括的专利技术众多，选择什么样的技术路线意味着可能会有专利授权的问题，因此HDR技术的标准化也一直是全球各个厂商争夺的焦点。多个重要的技术提供商形成了几个大的技术阵营。
出于简化的考虑，本文主要从与互联网视频联系紧密的生态角度分析，包括传统的HDR解决方案厂商与网络视频运营商、编转码厂商、操作系统这几方面进行分析。
2.2.1 HDR解决方案厂商与网络视频运营商
传统的支持HDR制作端到端的厂商有索尼、Dolby等公司，在调色工具方面有Davinci Resolve、Apple Pro等。总的来说可以分为两大阵营，即HLG和PQ阵营。
以上图片来自SONY
在广播电视领域，考虑到更好的兼容性，大约81%的运营商采用了HLG格式，仅有11%采用了PQ。但是在OTT或者互联网视频领域，尤其是点播视频，正好相反，约有88%的视频服务提供商选择了PQ，而有12%选择了HLG。[4]
在移动互联网时代，互联网视频占据了接近90%以上的网络流量，而且进一步呈现上升的趋势。在互联网视频的HDR分发方面，超高清视频也成为了重要的组成部分。
2.2.2 视频编转码
视频编码和封装是承载HDR视频的重要技术部分，从技术供应商的类型来看可以分为专业的设备供应商、云视频转码厂商这两个大的类别。HDR10作为一个基础功能，几乎得到了所有厂家的支持；而Dolby Vision和HDR10 的竞争则更加激烈，都呈现了上升趋势。这两个技术都提供了对动态元数据的支持，弥补了HDR10的缺陷，在提升细节和画质的同时也增强了系统的向下兼容性。[4]
云转码厂商比如AWS，BITMOVIN，MediaKind等，除了支持HDR10的基本功能之外，也都在向更高级的HDR10 ，甚至Dolby Vision进行扩展，至少能够支持对动态元数据的解析或者透传。
2.2.3 操作系统的支持
微软公司的Windows系统，从Windows 10/11系统开始支持HDR视频的游戏和视频，这两个方向也是非常大的市场。Windows系统对开启HDR功能也提出了在显示和Codec支持方面的要求，显示器建议Display HDR 500以上，同时需要HEVC、VP9或者AV1的Codec扩展支持。[5]
苹果公司在2018年以后推出的机型开始，支持了HDR的功能，但是要求比较新的操作系统版本（比如Big Sur）。MAC系统内置的XDR显示器支持Dolby Vision、HDR10和HLG的格式，当外接兼容HDR10格式的显示器，将自动从Dolby Vision、HLG格式转换成为HDR10格式。[6]
3. HDR的应用挑战
3.1 HDR内容匮乏
HDR的内容是非常匮乏的，原因是传统的HDR制作工艺非常复杂，制作门槛高，运用HDR技术制作的片源少，超高清高质量的片源供给不足，不能满足用户对于超高清日渐增长的需求。
在当前UGC视频的时代背景下，尤其是短视频行业的快速发展极大地降低了视频的制作门槛，但是现在的HDR内容主要还是PGC为主。主要的编辑软件包括Final Cur Pro X、Adobe Premiere Pro CC、Davinci Resolve 等等。
所以，如何快速产出或者补足HDR超高清内容的素材，就成为了一个巨大的市场机会。基于AI的智能视频处理技术有着广阔的发展空间，可以通过智能处理，进行存量老电影、电视剧素材的修复，通过超分技术进行标清到4K的转换，通过HDR技术进一步提升效果，达到接近真4K的标准节目效果。
3.2 HDR屏幕不足
支持真的HDR播放和显示的播放器和屏幕还比较少，OTT大屏、不同移动端的终端屏幕参数也参差不齐，终端呈现的效果差异也很明显，用户难以获得一致的视觉体验。所以使用一定的策略，进行色调映射和各种设备的适配，各种HDR格式和标准之间的转换，是一个长期需要解决和优化的问题。
在智能手机的生态上，HDR的解码、显示等基础技术的支持也还没有那么普遍。比较基础的是对HDR标准的支持，少数手机能够支持HDR10 ，支持Dolby Vision的手机则更少。走在前面的还是苹果公司，iPhone支持了Dolby Vision，而Android生态上支持的较少。很多厂商采用伪HDR内容生成的技术，在普通手机屏幕上呈现接近HDR效果的视频。
3.3 HDR的标准竞争与生态碎片化
如2.2部分的介绍，目前HDR标准和格式共存，标准之间的兼容性也不一样，处于百家争鸣的状态，甚至可以说是一场战争。同时，部分技术领先的标准，比如Dolby Vision的专利授权费用非常高，导致产业链的成本居高不下，不能端到端的形成规模化的生成，呈现碎片化，所以需要一个统一的技术来进行支持。
HDR10是一个基础的、完全开放的标准，获得了比较好的支持，包括HEVC标准也是率先支持了HDR10的元数据。但是HDR10的效果和兼容性问题是短板。
HDR视频技术是一个端到端的生态系统，几个不同阵营各有各的规范，很难达成统一。归纳起来，有4种常用的HDR解决方案：HDR10、Dolby Vision、BBC/NHK和Technicolor/Philips。
Dolby使用现有的解决方案和工具，提出一个从拍摄、制作到分发和显示的完整的HDR系统 Dolby Vision。其中 EOTF使用其提出的基于 Barten 模型的 PQ 曲线，支持的最大亮度可以达到 10000nits。编解码方面，Dolby使用称为 Dolby Layered 的双层编码方案，需要元数据，并需要支付专利费用。
个人预测，未来的HDR技术竞争将会在Dolby Vision的封闭生态，与新的HDR10 和HDR Vivid开放生态之间展开。
4. HDR的发展趋势预测
4.1 基于AI的HDR内容生产
AI在视频领域的技术发展，为视频内容的重建提供了新的技术手段。基于AI的超分辨率技术可以实现标清到高清（SD转HD）、或者高清到4K甚至8K的分辨率的提升，可以弥补大量的图像细节；通过基于AI的逆色调映射（Inverse Tone Mapping）技术和色彩增强技术，可以实现对比度、色彩饱和度等多个层面的提升。这些提升的细节，需要用HDR视频的高动态范围和宽色域来进行表达。NTIRE 2021首次举办了HDR视频图像生成技术的大赛。[7]
我们根据典型的应用场景，可以将智能视频重制划分为智能画质提升和智能老片修复两个分类。其中智能老片修复可以极大地提升传统的人工修复效率，而超分和HDR则进一步提升弥补细节，调节亮度和饱和度，尽量提升到接近真4K的水平。
4.2 HDR的互联网应用趋势上升
随着HDR显示技术、HDR终端播放设备、移动终端尤其是智能手机的不断发展，HDR的内容会越来越多，大家对于HDR的认知也会进一步加强。预计在未来2到3年内，HDR技术会取得一个蓬勃的发展。
爱奇艺融合4K HDR 高帧率 全景声的技术，打造一个比“蓝光”更高档次的选项“帧绮映画”，可以通过VIP观看。HDR在亮度、广色域和对比度三个方面，让画面呈现更接近真实的世界。预测未来2到3年，4K HDR的视频体验会成为互联网视频的一个基本配置。
4.3 HDR的游戏应用推广
游戏是HDR一个重要的应用。HDR技术可以让游戏的渲染更加正确，能够更加清晰地提升亮部和暗部的细节，还原真实的场景。
HDR10 Gaming标准是今年十月三星宣布的HDR10 延伸标准，这项标准相对HDR10有更高的峰值亮度，支持自动低延迟与可变刷新率，同时可以让输出的视频源自动适配显示设备，来获得更好的游戏性能与视觉效果。
微软选择了Dolby Vision，开发者可以选择将Dolby Vision集成到他们的游戏引擎中，或者利用Xbox开发者平台进行内置。有超过100款的HDR游戏采用Dolby Vision和Atmos标准发布。微软也一直在与杜比合作，为现有的HDR10和自动HDR游戏带来更好的体验。[5]
游戏的视频化也是重要的市场方向，主要包括游戏直播和云游戏两个方面。游戏直播是单向的，而云游戏是以视频的形式呈现互动的游戏形态。那么已经支持了HDR效果的游戏，就可以提供HDR视频化的游戏服务了。
4.4 HDR Vivid商用加速
自2020年9月4日CUVA联盟HDR Vivid标准发布以来，产业生态基本成熟，产业链各环节均有产品支持，内容规模超过一万小时，并在持续增长。目前已经发布了七项标准，涵盖了从内容制作到传输、解码和显示的整个生态。同时HDR Vivid标准也正在升级成国家广播电视行业标准。[8]
在内容平台方面，爱奇艺、腾讯视频等厂家都推出了采用HDR Vivid标准制作的节目内容，对4K画质进行了全新的升级，咪咕也首次将该标准应用到了互联网直播场景。在视频转码与处理方面，百度智能云作为智能视频处理的厂商，同时也是HDR Vivid标准的参与者，也会尽快完成HDR Vivid端到端处理的解决方案的建设。在芯片和终端支持方面，包括海思、MediaTek、Amlogic等厂商已经率先支持Vivid标准，其他半导体厂商也都会及时跟进。
可以看到，HDR Vivid生态圈在进一步扩大，大规模商用指日可待。
注释：
[1]【Multi-exposure HDR capture】
https://en.wikipedia.org/wiki/Multi-exposure_HDR_capture
[2]【High-dynamic-range_video】
https://en.wikipedia.org/wiki/High-dynamic-range_video
[3]【HDR Vivid技术白皮书】http://www.cuva.org.cn/ueditor/php/upload/file/20210415/1618456877397969.pdf
[4]【UHD ServiceTracker Summary】
https://ultrahdforum.org/uhd-service-tracker/summary/
[5]【Windows 2021 HDR getting started guide】
https://devblogs.microsoft.com/directx/windows-2021-hdr-getting-started-guide/
[6]【Hybrik】
https://professional.dolby.com/technologies/cloud-media-processing/#gref
[7]【NTIRE 2021Challenge on High Dynamic Range Imaging: Dataset, Methods and Results】
https://arxiv.org/pdf/2106.01439.pdf
[8]【HDR Vivid应用进展】
http://www.cuva.org.cn/cuva/gzjz/lmdt/344.html
参考文献：
【Play HDR video on Mac】
https://support.apple.com/en-us/HT210980
【4K HDR VOD workflows using AWS Elemental MediaConvert and AWS Elemental Server】
https://aws.amazon.com/cn/blogs/media/part-2-4k-hdr-vod-workflows-using-aws-elemental-mediaconvert-and-aws-elemental-server/
【HDR10 Technologies unveils new HDR10 GAMING standard】
https://hdr10plus.org/wp-content/uploads/2022/01/HDR10-Gaming-Release-Final-01052022.pdf
【The HDR Ecosystem Tracker (mid-2019)】
https://www.flatpanelshd.com/focus.php?subaction=showfull&id=1559638820
【The HDR Ecosystem Tracker (mid-2020)】
https://www.flatpanelshd.com/focus.php?subaction=showfull&id=1606977052
【HDR in depth】
https://www.elecard.com/page/article_hdr
【UHD Service Tracker Summary】
https://ultrahdforum.org/uhd-service-tracker/summary/
作者简介：邢怀飞，博士，百度智能云、视频云音视频处理技术架构师。目前担任视频云音视频处理技术产品技术负责人。在视频编解码、处理算法以及云转码工程架构方面具有十余年的行业经验，目前致力于百度“智感超清”系列产品的性能优化与产业化落地。
