MPEG进展(132次会议)

2020-11-09 11:47:06 浏览数 (2)

本文来自于2020年10月12日至2020年10月16日在线上举办的第132次MPEG会议新闻稿。

第132次MPEG会议是自新结构以来的第一次会议,新结构包括AG 2 MPEG技术协调(用于整体MPEG工作协调),WG 2 MPEG技术要求,WG 3 MPEG系统,WG 4 MPEG视频编码,WG 5 MPEG联合视频编码 ITU-T SG 16、3D图形WG 6 MPEG音频编码,WG 7 MPEG编码,WG 8 MPEG基因组编码,AG 3 MPEG联络和通信以及AG 5 MPEG视觉质量评估团队。 300多名参与者有效地制定符合行业未来需求的标准。 作为一个团队,MPEG开始探索新的应用领域,这些领域也将受益于标准化的压缩技术。

会议内容包括但不限于以下部分:

1. 通用视频编码标准(VVC)超高清验证测试已完成,一致性和参考软件标准达到了第一个里程碑

在本次MPEG会议上,完成了对新的通用视频编码(VVC)标准的验证评估,该标准针对具有标准动态范围的超高清(UHD)内容,可以在更新的流媒体和广播电视应用中使用。使用严格的主观评估方法进行测试。它表明,VVC比其前身(2013年生产的高效视频编码(HEVC)标准)获得了令人瞩目的增益。VVC在同等水平的主观视频质量上比HEVC节省了约45%的比特率。在同一项评估中,对于VVC的开源编码器实现,相对于VVC参考软件,还发现节省了超过10%的比特率,同时运行的速度明显比参考软件实施快。注意,HEVC本身具有比大多数现代视频应用程序中使用的AVC标准更好的压缩能力。MPEG与ISO-IEC 23090-3共同制定了VVC,而ITU-T也已批准VVC为H.266。

此外,针对VVC标准的一致性测试和参考软件的标准化工作达到了第一个主要里程碑–在ISO / IEC批准过程中进行了委员会草案投票。一致性测试标准ISO / IEC 23090-15将确保使用VVC标准的各种应用程序之间的互操作性,而参考软件标准ISO / IEC 23090-16将提供VVC功能的说明以及一个有价值的示例,该示例显示了VVC的功能。标准可以实施。该参考软件可作为产品实现的基础,从而进一步促进该标准的采用。

2. MPEG完成基于几何的点云压缩标准

本次会议上,MPEG将其基于ISO / IEC 23090-9几何的点云压缩(G‑PCC)标准推广到国际最终草案(FDIS)阶段。G‑PCC通过相关属性(例如颜色和材质属性)解决了时变3D点云的无损和有损编码。该技术特别适用于稀疏点云。ISO / IEC 23090-5的基于视频的点云压缩(V‑PCC)于2020年7月进入FDIS阶段。G-PCC的通用方法是对3D几何体进行直接编码以利用点云本身中的任何冗余,这是对V-PCC的补充,对于表示大型环境的稀疏点云特别有用。

点云通常由非常大量的数据表示,这是大众市场应用的重要障碍。然而,与其他视频表示相比,捕获和渲染空间信息相对容易,这使得点云越来越普遍地用于显示沉浸式数据。当前的无损帧内G‑PCC编码器参考软件草案实现了高达10:1的压缩比,并且对于各种应用,可以以高达35:1的比率提供可接受质量的有损编码。

通过以当前可用的比特率提供高沉浸感,G‑PCC标准将支持各种应用,例如3D映射,室内导航,自动驾驶,具有环境映射的高级增强现实(AR)等等。

3. MPEG发布有关触觉编码的提案征集草案

触觉技术提供了除音频和视频媒体之外的娱乐和感官沉浸的另一层。通过将触觉添加到音频/视频内容中,无论是以ISO基本媒体文件格式(ISOBMFF)还是诸如ATSC 3.0广播,流媒体游戏和移动广告之类的媒体流,都可以显著增强用户的体验和媒体内容的享受。为此,在ISOBMFF中已经提出了触觉作为与音频和视频同等的一阶媒体类型。此外,提出了触觉作为MPEG-DASH标准的补充,这将使DASH流客户端知道ISOBMFF段中存在触觉。最后,将触觉添加到MPEG-I用例中,从而产生了针对MPEG-I的许多触觉特定要求。这些提议将存在于MPEG标准化过程的各个阶段。

在本次会议上,MPEG发出倡议书,对触觉的编码征集草案(CFP)。此CFP要求提交能够有效表示和压缩与时间有关的触觉信号的技术,并适合于可与音频/视频媒体同步的定时触觉轨道的编码。最终的CFP将在2021年1月的第133次MPEG会议上发布。

4. MPEG完成DASH和CMAF协调的标准

本次会议上,MPEG通过将ISO / IEC 23009-1:2019修正案1升级为最终草案修正案(FDAM),从而完成了标准的开发,该标准使HTTP(DASH)上的动态自适应流与通用媒体应用格式(CMAF)的集成成为可能。除其他改进外,此修订定义了用于CMAF的DASH配置文件。

CMAF和DASH段均基于ISO基本媒体文件格式(ISOBMFF),可实现两种技术的平滑集成。 此更改定义了对DASH和CMAF的内容模型的约束,以便可以有效地一起使用这两种技术。 为了在DASH中分发CMAF内容,此配置文件使用媒体表示描述(MPD)作为清单格式定义了CMAF结构到DASH结构的规范映射及其用法。

此外,此修订还添加了带内事件流的DASH事件和定时元数据跟踪时序和处理模型,这是一种在段具有允许容器级重新同步的内部结构时指定段重新同步点的方法,一种MPD补丁框架。 与使用IETF RFC 5261中定义的XML修补程序框架的完整MPD相比,它允许部分MPD信息的传输,以及用于有效信令的内容保护增强。

预计包含此更改的MPEG DASH标准的第5版(ISO / IEC 23009-1)将在2021年1月的第133次MPEG会议上发布。

5. MPEG完成第二版全向媒体格式

本次会议上,通过将ISO / IEC 23009-2提升为国际最终草案(FDIS)状态,完成了第二版全向MediA格式(OMAF)的标准化。

此版本增加了“后期绑定”技术,以仅交付和呈现部分内容以适应不断变化的用户观点。 为了有效实现这种功能,此版本的规范引入了比特流重写的概念,其中动态生成了一个兼容的比特流,该比特流通过组合接收到的比特流部分,仅覆盖了客户端上用户的视口。 此外,该版本将OMAF规范的应用范围扩展到了360度视频之外。 此版本引入了视点的概念,可以将其视为用户可切换的用于查看内容的摄像机位置,或者视为故事情节的时间上连续的部分,以为用户可以遵循的故事情节提供多种选择。 此版本还增强了在全方位视觉背景视频,图像或定时文本叠加的使用。

6. MPEG完成低复杂度增强视频编码标准

MPEG在会议上宣布完成新的ISO / IEC 23094-2标准,即低复杂度增强视频编码(MPEG-5 Part 2 LCEVC),并将该标准提升为最终国际标准(FDIS)。

LCEVC添加了一个增强数据流,可通过在现有和将来的视频编解码器之上构建,以有限复杂性的有效压缩效率来显著提高重构视频的分辨率和视觉质量。

通过使用固件,操作系统或浏览器支持,LCEVC可用于补充最初设计用于仅解码基本层比特流的设备。 它与现有的视频工作流程(例如CDN,DRM / CA)和网络协议(例如HLS,DASH,CMAF)兼容,以促进快速部署增强的视频服务。

LCEVC可用于在有限带宽的情况下提供更高的视频质量,尤其是在高分辨率视频传递的可用比特率较低且解码复杂性成为挑战的情况下。 典型的用例包括移动流媒体和社交媒体以及受益于高密度/低功耗代码转换的服务。

0 人点赞