本文为媒矿工厂编译的技术文章
原文标题：
VRIF's View on State of the Immersive Media Industry
作者：
Ozgur Oyman, Rob Koenen, Paul Higgs, Chris Johns, Richard Mills, Mick O'Doherty
来源：
代码语言：javascript复制VRIF(Virtual Reality Industry Forum)翻译整理：武国庆
之前的帖子对VR Industry Forum的主要内容做了一个综述，本文将介绍VRIF对沉浸式媒体产业现状的看法。VRIF指南2.0正式稿的链接为：https://www.vr-if.org/wp-content/uploads/VRIF_Guidelines2.0.pdf。
引言
虚拟现实产业论坛(VRIF, www.vr-if.org)成立于2017年的消费电子展(Consumer Electronics Show)，其使命是进一步推广高质量的视听虚拟现实(VR)体验。VRIF的章程包括提供指导方针，并围绕通用技术标准提出行业共识，以实现从内容制作到发布再到消费的端到端VR互操作性。
这篇文章综述了VRIF对沉浸式媒体产业现状的看法，解释了虚拟现实的应用为何比几年前预测的要慢，以及这背后的主要技术和商业原因，将显示出这些原因正在得到怎样的解决，以及非常健康的前景。接下来，文章着眼于如何使沉浸式体验更具吸引力，以及网络如何发展来支持这些更先进的服务，VRIF认为这些服务将为市场上大量采用沉浸式媒体产品和服务铺平道路。
沉浸式媒体产业现状
VR/AR用例继续在业界引起消费者和企业的极大兴趣，并且许多人继续将沉浸式媒体视为改变人们未来生活和工作方式的关键颠覆性趋势之一。仅举几例：现场娱乐活动具有沉浸式媒体使用的巨大潜力，例如改变人们可以享受体育比赛和音乐会的方式。社交VR和沉浸式通信/远程呈现可以从根本上改变人们协作和互动的方式。在企业方面，沉浸式VR / AR技术可能会颠覆许多行业，包括教育，医疗保健，零售，旅游，营销，培训，公共服务和工厂生产。
与此同时，VR市场的增长速度远低于2017年1月VRIF推出时的最初预期。包括VR360在内的沉浸式媒体应用尚未成为主流。VR硬件，软件和内容还没有为大规模采用做好准备，而且预期超过了现实。在2019年，仍然没有沉浸式媒体的杀手级应用程序，VR用户群仍然被认为太小，不足以构成一个有吸引力和可持续的开发者生态系统。
VR市场增长缓慢的部分原因可以描述如下：
1.VR头盔：当今优质VR360体验的明显限制在于HMD规范。这包括低显示分辨率和需要强大的个人计算机。为了能够匹配屏幕电视体验的质量，头戴式显示器（HMD）的每度像素数需要高得多。即使硬件改进以支持更好的分辨率，以更高分辨率呈现交互式内容也需要增加本地计算能力，这导致最终用户的计算平台更加昂贵。此外，目前许多HMD需要连接到具有强大CPU和GPU的个人计算机，限制了灵活性和自由度。用户移动或需要独立，这意味着由于对HMD的本地计算能力的潜在限制，可能不支持高端VR体验。
2.内容：沉浸式内容制作仍处于实验阶段，没有成熟的制作方法和工具。在360环境下讲故事与传统的内容制作有着本质的不同。此外，许多生产需要专门的拼接软件来制作最终产品。
3.网络：当今网络并不能总是满足沉浸式媒体的高质量和交互性需求，甚至对于VR360内容分发来说，使用最先进的编解码器（如HEVC和AV1）至少需要4K - 6K分辨率以获得合理的质量。对于更高分辨率的高端VR体验(如8K、16K等)和更大程度的沉浸感(如容量内容)，带宽需求变得更加强烈。网络缺乏足够的QoS支持(如低带宽、高延迟)的负面后果可能意味着用户体验差，导致视频质量低。
4.标准和互操作性：许多沉浸式媒体标准在过去几年中已经开发出来，具有广泛的行业应用潜力，但是仍然需要新的编解码器，格式，协议，API等，以支持沉浸式媒体制作，分发和消费的基本端到端互操作性需求，并防止碎片化。
5.成本：对于沉浸式媒体产品和服务而言，获利仍然是一个挑战。更便宜的设备、内容和服务是主流采用的必要条件。另一方面，由于目前消费者数量和收入机会有限，仍然难以证明为解决具有挑战性的技术问题而进行的重大投资是合理的。
6.人为因素：用户会对自己的VR体验感到失望，原因如下:(1)VR是孤立的，本质上还没有社会化。(2)安装和操作VR头盔需要有合理的专业知识，这超出了零售购物体验。(3)长期佩戴VR头盔(重量、热量、通风)不舒服。
尽管上述列出的原因听起来沉浸式媒体前景相当黯淡，但基于市场近期的发展，现实情况让我们有理由更加乐观，包括以下几点：
1.VR头盔：随着LCD/LED技术的进步，分辨率更高的HMD(每只眼睛2k x 2k)将进入市场，并提供了一些示例产品(如HP混响、Pimax 8K等)。此外，具有集成片上系统（SoC）处理器功能的独立HMD有助于解决网络共享和整体复杂性问题。
2.内容：许多有趣的内容正在开发中，并通过app store提供(例如谷歌s VR Creator Lab，拥有获奖的YouTube VR内容等)。
3.网络：当使用先进的视景自适应流媒体技术时，内容可以发布在今天的网络上，具有等矩形投影(ERP)分辨率高达8k或6k的立体感。
4.标准和互操作性：目前已经出现了部署VR360的实际标准和指南，包括来自MPEG、3GPP、Khronos、W3C等的相关规范，以及来自VRIF的指南和最佳实践。
5.成本：VR头盔的成本正在下降，新的相机也开始出现，价格也更加实惠。
6.人为因素：在移动和平板设备上使用AR和MR扩展VR360，由于简单的拾取和尝试体验，越来越受用户欢迎。
沉浸式媒体的最新进展
展望未来，大型科技公司对沉浸式媒体产品和服务的巨额投资仍在继续，表明它们对VR/AR市场长期增长的持续信心。以下是一些趋势，用途和技术进步，VRIF认为这将有助于通过消除3DoF VR的固有局限性和使更多网络功能以更好地支持高质量和交互性的沉浸式媒体体验
超越VR360: 3DoF 和6DoF体验
最初的VR360支持被限制在3个自由度(3DoF)，这意味着观看姿态只能通过在x轴、y轴和z轴上的旋转来改变，纯粹的平移运动不会导致呈现不同的媒体。这是一个限制，因此损害了用户体验和真实感。新兴的VR标准和产品将为3DoF 和6自由度(6DoF)提供支持，提高沉浸感和用户体验水平。3DoF 通过限制用户头部在原始视点周围的平移运动来限制查看位置的修改，而6DoF支持旋转和平移运动，允许用户不仅改变方向，还可以在观察场景中移动位置。
实时自由视角内容和点云
实时自由视角视频最近在提供6自由度体验方面获得了显著的吸引力。实时自由视角视频包含空间数据，让观众能够四处走动，与人和物体互动，因此它比360视频镜头更具沉浸感，因为它捕捉了真实人物的三维动作。点云是描述三维物体或场景的实时自由视角表示。点云包括三维空间中的一组无序数据点，每个点由其空间(x、y、z)位置指定，可能还包括其他相关属性，如RGB颜色、表面法线和反射率。这本质上相当于表示2D视频的已知像素的3D等价物。这些数据点共同描述了场景或对象的三维几何和纹理。这样的实时自由视角表示方式使其适合与6DoF交互和表示的沉浸式形式。图1描述了一个使用Intel的True View的足球比赛实时自由视角视频捕捉系统，该系统在整个体育场统一放置了38台超高清摄像机，以生成3D图像。由于此类点云表示需要大量数据，因此需要开发有效的压缩技术，以便使用典型的宽带访问系统将数据传输给消费者。
图1 使用Intel真实视图的实时自由视角视频捕获系统示例
VR音频表示技术的进步
3DoF和6DoF VR体验中音频维度的增加显著增强了沉浸感。在3DoF VR360视频体验中，双声道音频得到了广泛的应用，同时也提供了基于对象和基于通道的音频。音频混合中的相移立体声轨道使创作者能够在体验中添加音频效果的特定x，y，z定位。时间轴音频编辑包可用来支持现场音频效果到场景中的可视对象的动态跟踪。使用现实场景相关的均衡，存在和混响也增加了沉浸感。对于基于6DoF游戏引擎的体验，可以使用复杂的工具集来管理基于对象的音频效果，并真实地映射体验中空间的音频特征。
云VR/AR
当涉及与沉浸式媒体相关的处理要求（包括解码，渲染，图形，拼接，编码，转码，缓存等工作负载）时，利用云计算和边缘计算的能力可有助于降低客户端设备的计算成本和复杂性，如图2所示的几个示例应用程序。低延迟、高吞吐量的网络可以允许即时访问远程存储的数据，同时提供类似于基于数据中心系统的本地计算体验。这种具有低延迟特性的高容量网络还支持响应式交互反馈、基于实时云的感知、呈现和显示内容的实时传送。云VR/AR融合了云计算和网络领域的重大进步，并具有高度的交互性，为那些之前无法享受沉浸式技术的用户提供高质量的体验。因此，这一方法可能有助于显著增加VR客户端设备的销量，并为内容提供商和运营商创造更多消费VR/AR服务的重大收入机会。
图2 可能的云VR配置，在云端和/或边缘执行媒体处理
5G
更高的带宽，更低的延迟以及通过5G连接实现的边缘计算支持，是可以提供满足沉浸式媒体体验的高质量和交互性需求的理想方式。5G可以通过一个新的无线(NR)空中接口支持更广泛的QoS要求，解决交互式VR/AR/XR应用程序的高带宽低延迟需求，以及通过5G核心网络架构和网络切片实现的灵活QoS。此外，5G系统利用边缘计算的能力对于满足沉浸式媒体的性能要求至关重要，不仅可以通过边缘缓存实现更好的传输性能，还可以将一些复杂的VR / AR / XR处理卸载到边缘，执行各种操作，如解码，渲染，图形，拼接，编码，转码等，从而降低客户端设备的计算负担此外。在内容制作方面，移动运营商和内容提供商也有兴趣利用5G网络，不仅用于分发，还用于专业视听(AV)沉浸式媒体内容和服务的制作，包括基于工作室的制作和远程AV制作。
持续的硬件创新
预计沉浸式媒体服务将受益于未来几年的持续硬件创新，努力实现更高级的计算能力，从而实现更高性能的CPU / GPU等以及更好的分辨率显示，可实现每只眼睛4K分辨率和 处理更高分辨率的沉浸式内容，例如8K，16K，32K等。类似地，在基础设施方面，还期望具有优化的沉浸式媒体处理和传送能力的云和边缘解决方案，用于执行诸如解码，渲染，拼接，编码等操作，以及那些具有最小延迟的高效传输。
安全
平衡AR和VR的安全问题，以及它们带来的内容处理驱动程序，同时最小化处理开销和功耗，无论是在前端还是在回放客户端，都需要精心设计。完整的端到端沉浸式媒体内容安全包括加密，能够添加水印、验证内容的来源、验证目标设备、检测并报告和记下在互联网上和广播网络上的盗版内容的能力。沉浸式内容分发和呈现带来了自身的安全挑战，尤其是在设备的安全媒体路径领域，以及依赖于平铺或视景的传送和显示领域。对于现有的高价值内容，许多设备现在支持一个安全的媒体路径，这意味着加密媒体被解密到安全内存中，并从那里显示，而不允许来自系统其他部分或其他应用程序的任何访问。由于沉浸式内容可能需要在显示之前对媒体进行额外的操作，设备需要提供一种机制来允许这种媒体操作的安全性。添加水印同样需要特殊的技术，以允许平铺或视景相关的媒体传输，以及部分媒体捕获和复制。在某些情况下，仅复制媒体的视景可视部分本身就可能存在盗版风险。在解决这些挑战的同时，开发解决方案，使运营商和服务提供商能够尽可能简单地推出沉浸式媒体产品，关键是利用行业论坛和标准倡议，确保互操作性和可伸缩性得到维护。
总结
这篇文章综述了VRIF对沉浸式媒体产业现状的看法。尽管面临各种挑战，但大型科技公司在沉浸式媒体产品和服务上的巨额投资仍在持续，基于VR/AR市场的最新发展，前景非常健康。此外，VR/AR用例继续在业界引起消费者和企业的极大兴趣。许多人继续将沉浸式媒体视为改变未来人们生活和工作方式的关键颠覆性趋势之一。
