来源:8K ASSOCIATION 演讲者:Mauricio Alvarez-Mesa 内容整理:胡经川 本文主要讨论实时 8K 服务的现状。首先从 8K 格式标准入手介绍什么是 8K,然后从编码角度分析如何才能提供实时的 8K 服务,随后谈到目前有哪些在 8K 实时视频服务上的尝试并从中分析实时 8K 服务的未来。
目录
- 8K 是什么?
- 8K 格式标准
- 为什么需要 8K 直播以及如何实现?
- 谁在提供实时 8K 服务 ?
- 实时 8K 服务的现在与未来?
8K 是什么?
8K 格式标准
8K 内容能给观众带来更强烈的真实感,使用户获得更好的身临其境的体验。当我们说某些视频内容是 8K 时,那么就不得不提及分辨率、帧率以及色度等等。分辨率为 4K 的 4 倍或者 FHD 的 16 倍、60FPS 甚至 120FPS 的高帧率、高动态范围、10 比特的比特深度等等,这些似乎都是 8K 内容的标签。那么怎样的参数或者视频技术的组合才真正能定义 8K 格式呢?我们需要一个明确的标准来定义 8K。
最初的参考标准包括日本 NHK 提出的 "Full Spec" 以及 ITU 提出的 BT.2100。BT.2100 标准属于比较宽泛的标准,比如在帧率方面十分灵活,从 24 到 120 都覆盖了,色彩空间和 HDR 格式也是多种多样的。而 NHK 的 "Full Spec" 则仅支持 120 和 60 两种帧率,以及 YUV444 和 HLG 标准的动态范围。
表 1:初代 8K 标准
HDR 是 8K 内容中不得不谈的一个部分。目前的 HDR 生态还是十分复杂的,多种格式百花齐发,包括 HLG、HDR10/HDR10 、Dolby Vision 等等。创建一个 8K 实时服务,我们需要以某种方式定义想要的 HDR 格式。
图 1:HDR 生态
一些广播标准组织制定了较为详细的格式规范,从这些工作中我们可见一斑。这些组织包括 ATSC、ARIB、DVB、ITU-R 以及中国的 AVS 工作组,他们正在制定或者已经完成了一些 8K 的标准。在这里拿两个标准来举例,分别由 ARIB 和 DVB 制定的。ARIB 的标准在日本被广泛使用,最初在 2001 年提出,最近的一次修订是在 2016 年。它基于 HEVC 编解码器,拥有 60FPS 的帧率,HDR 使用的是 HLG 标准。DVB 的 8K 标准在几周前刚被修订,在这之前,该标准最多只支持到 4K,它支持 HEVC 以及下一代编解码标准(包括 AV1、VVC 以及 AVS3),HDR 支持 SDR、PQ10 和 HLG10。
表2:广播组织的 8K 标准
为什么需要 8K 直播以及如何实现?
8K 内容可以高度还原活动现场,带给观众比在小屏幕环境中观看更真实、更身临其境的活动体验,这些活动可以是体育赛事、音乐会、艺术讲座,也可以超越媒体领域到远程医疗和培训等类型的领域。所以 8K 内容在今天还是十分被需要的。
那么一个 8K 直播系统应该如何实现呢,一般的工作流如图 2 所示,它包括 8K 视频采集、音频采集模块、实时 8K 内容编码模块、云端分发模块以及终端播放模块。这里主要讨论编码部分和播放部分。
图 2:8K 直播工作流
首先是老生常谈的问题:为什么需要编解码器?8K 内容在未经压缩的情况下,数据量高达 48Gbps,而据统计,2021 年手机用户的世界平均下载速度为 54.53 Mbps, 固定宽带的平均下载速度为 105.15 Mbps。所以如果要使 8K 内容的分发变为可能,至少要压缩 1000 倍,编码器做的就是这样的事情。
如今的编解码器标准也是多种多样的,AVC、HEVC、VP9、AV1、VVC、AVS3、LCEVC 等,这些编解码标准各有各的优点,那么哪一个更适合 8K 呢 ? 比较这些编解码标准是十分困难的,需要考虑的因素很多,比如说输入的视频内容特性、编码器的配置、编码器的实现(参考编码器还是商业编码器)以及质量评价标准和方法。
根据最近的论文中的对比实验,VVC 参考软件可以在同等质量下比 HEVC 节省 41.54% 的码率,但编码复杂度比 HEVC 高 8 倍,AV1 则比 HEVC 节省 19.89% 的码率,编码复杂度则为它的 2.69 倍。
表 3:编码器性能对比
哪一个编解码标准更适合 8K 实时内容,需要考虑的不仅仅是压缩效率(在保证高质量的前提下维持较低的码率),还有计算复杂度(能否实时编码),以及是否有可用的编解码器生态(编解码器是否广泛部署)。所以综合考虑这些因素来看,HEVC 还是目前最适合用于 8K 实时内容的编解码标准。首先,它具有较好的压缩效率,可以在 50-80 Mbps 的码率下保持一个较好的质量,而且它的编码复杂度对于 8K 内容也是可接受的,而且最重要的是,其对应的编解码器很多厂商都有实现和部署。而更新的一些标准,比如说 AV1 和 VVC 在压缩效率方面优于 HEVC,然而编码复杂度还是太高了,难以实时,而且相应的编解码器还没有很好的部署,也就导致了它们还无法应对 8K 实时内容。
至于具体的能用于 8K 实时直播的编码器, 目前许多厂商都有实现,如表 4 所示。它们结合了许多技术点,包括 ASIC、GPU 并行计算、CPU 以及混合模型等等。这些编码器都是介于 HEVC 编码标准的,它们也有一些共同的基本特性,比如说可以实现 8K/60FPS 的实时编码、支持 HLG 或 PQ 的 HDR 标准等等。
表 4:不同厂商的编码器
解码器方面,它们大多已经被整合进 8K 电视或者 PC 中,而且除了 HEVC 以外,已经有一些实时的 AV1 和 VVC 解码器实现了。
谁在提供实时 8K 服务 ?
8K 直播服务并不是最近才提出来的,早在 2008 年,NHK 和 BBC 就用 MPEG-2 编码器以 600 Mbps 的码率实现了从伦敦到阿姆斯特丹的 8K 服务。时至今日,NHK 仍然是目前最专注于 8K 服务的广播公司之一, 是 8K 内容发展的先锋。它也在许多国际体育赛事上进行了 8K 的演示服务,从 2012 年的伦敦奥运会,到 2014 年的巴西世界杯以及 2016 年的里约奥运会。
它在 2018 年开启了首个 8K 电视频道, 并在东京奥运会期间提供了长达 200 小时的 8K/HDR 服务。NHK 实现这项服务投入了许多设施,包括直升机、转播车等室外设施,用于剪辑混音等工作的电台设施、卫星等传输设施等等。最终,以 HEVC@85Mbps 传输 8K/60FPS 的内容。
图 3:NHK 东京奥运会 8K 服务设施
此外,值得一提的是在 2019 年 Roland-Garros 法网锦标赛上的尝试,以 HEVC@100Mbps 传输 8K 内容,在本地网络通过 HLS/DASH 分发给 PC 端的用户。还有 2020 年在全球范围内的 8K 流服务的尝试,它提供两个选项,一个是以 HEVC@120Mbps 传输的低延时选项,一个是以 HEVC@48Mbps 传输的高效率选项,来自波兰的 8K 内容被分发到全球各地,来探索在当前的网络条件下 Global 8K Streaming 是不是可行。
图 4:全球 8K 服务(2020)
另外一个案例是 Intel 在东京奥运会上的尝试,如图5所示:
图 5:Intel 端到端 8K 服务系统
实时 8K 服务的现在与未来?
就目前的一些实验和常识来看,使用 HEVC 作为编码器实现 8K 实时服务在当下是可行的,既满足当下的带宽要求,广泛的部署也能作为内容分发的支撑。新一代的编解码器,比如 VVC、AV1 和 AVS3 等,也正在高速发展,有望支持 8K 视频服务。
附上演讲视频:
http://mpvideo.qpic.cn/0bc3giaaaaaazaapr46xxzqvamwdaazaaaaa.f10002.mp4?dis_k=14fb717dbdaa0c309ed5c8c96c6a9ef3&dis_t=1645149988&vid=wxv_2213781493527740421&format_id=10002&support_redirect=0&mmversion=false