腾讯与AVS音视频编码技术

2021-10-09 11:10:12 浏览数 (1)

1

前言

数字音视频编解码技术标准工作组(简称AVS工作组)由国家原信息产业部科学技术司于2002年6月批准成立。该工作组的任务是:面向我国的信息产业需求,联合国内企业和科研机构,制(修)订数字音视频的压缩、解压缩、处理和表示等共性技术标准,为数字音视频设备与系统提供高效经济的编解码技术,服务于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。

2

AVS标准发展史

AVS系列标准至今已制定了三代AVS标准。

2004

第一代AVS视频标准定稿。

该标准是我国首个自主知识产权的音视频编码标准。AVS1标准面向广电应用,性能对标当时同期完成的国际标准H.264/AVC。

2015

第二代AVS视频标准定稿。

AVS2标准面向高清视频应用,性能对标当时同期完成的国际标准H.265/HEVC。

2019

第三代AVS视频标准(v1)定稿。

2021

第三代AVS视频标准(v2)定稿。

AVS3标准面向超高清视频应用,性能对标同期完成的开放媒体联盟标准AV1,接近同期国际标准H.266/VVC。

图1:近二十年国际标准及AVS系列标准制定时间表

AVS工作组目前正在制定的标准,包括AVS3多媒体系列标准,涵盖了系统、视频、音频、质量评价等各个方面,同时还有点云压缩、虚拟现实等等新兴媒体的压缩标准。此外,AVS还设有知识产权、生态推进、产业联盟等工作组,确保多媒体技术从创新到落地的一路畅通。

AVS工作组是国家打造自主知识产权的多媒体系列标准制定组织,代表了国内多媒体领域技术研究的最高水平,目前AVS已有超过100家会员单位。AVS的标准化工作,近年来受到国内头部互联网公司和半导体公司,以及众多顶级高校和科研机构的密切关注和积极参与。其中,华为、腾讯、字节跳动、联发科、阿里巴巴、三星、快手、海康威视、大疆等企业,也同是H266/VVC标准制定的主要参与单位。

图2:AVS3视频标准主要参与企业

3

腾讯与AVS的故事

腾讯多媒体实验室积极推动AVS标准化工作的开展,深度参与到最核心的几个标准化工作组中,推动了新一代AVS系列标准的制定工作,包括:视频压缩、质量评价、沉浸式媒体压缩、以及多媒体传输系统等方向,为AVS系列标准的成功做出了实质性贡献。2018年至今,腾讯已向AVS各个工作组提交了多于200项技术提案,其中超过100项技术被AVS标准组织所采纳。在提案提交数量和被采纳数量方面,均居所有参与单位前列。多位腾讯多媒体实验室的专家在AVS组织的各个专题组中承担了多项重要的具有领导性的工作。腾讯担任AVS3屏幕内容编码专题组主席,牵头并主导了AVS3标准针对对这一应用领域的开发工作。AVS3中采纳了多项腾讯提出的屏幕内容编码技术,能够针对例如桌面共享,在线教育等屏幕内容视频的应用,节省超过60%的带宽。

图3:AVS3中腾讯重点参与的屏幕内容编码技术性能提升示意图

另外,针对近年来日益兴起的自动驾驶、高清地图、数字图书馆等应用,腾讯联合国内各高校和研究机构,牵头成立了AVS点云压缩标准工作组,并担任包括工作组联合组长、点云标准文本主笔人、标准参考软件负责人等多个重要职务,是该标准的主要推动力量。

此外,腾讯还参与到了AVS工作组中其他与多媒体技术相关的新标准制定,例如主持针对新兴多媒体内容的质量评价,建设沉浸式媒体传输和消费的多媒体传输系统、面向自由视点应用的压缩标准等。在这些领域腾讯均取得了不错的成绩。

在标准化研究工作的同时,腾讯多媒体实验室也大力推动AVS相关的技术标准在公司相关业务中落地应用,做到标准和产业的联通。多媒体实验室基于AVS2标准内核与AVS2-P7图像容器标准(实验室深度参与制定),针对业务使用场景对编解码速度进行大量优化,研发落地了图像编码格式TPG(Tiny Portable Graphics)。相比于主流的图片格式JPEG、PNG,GIF、WEBP等,在相同主观质量时,可以节省大量码率。此外,TPG相比于基于HEVC/H.265编码标准的图片编码格式HEIF也具有相似的压缩性能,考虑到AVS2标准是属于我国自主研发的标准,相比HEIF可减少大量专利风险。多媒体实验室联合腾讯云对外推出的TPG图片加速解决方案,已经广泛应用于公司内外各大业务,帮助节省图片带宽超过50%。该方案所涉及的专利“一种图片文件处理方法及系统”也于2020年荣获第六届广东省专利金奖。

实验室也相继推出了自研优化的AVS2视频编解码器和AVS3视频编解码器,实现了帧级、WPP级并行,码率控制等在视频编码应用中非常重要的功能模块,并针对不同应用场景进行调优增加大量快速算法。相比目前广泛应用的视频编码器,如x264与x265,AVS2、AVS3编码器能够获得大幅的编码性能提升。在低延时(Low delay)与随机访问(Random access)模式下,AVS2均能在相同复杂度情况时,相比x265获得10%以上的提升,而AVS3编码器则可进一步提升至20%。AVS2与AVS3编码器均已通过腾讯云服务广电等行业应用。

图4:AVS2视频编码器与x264、x265性能对比

目前AVS系列编解码器均已通过腾讯云进行陆续落地。例如,腾讯视频云直播、点播均已支持AVS2标准。据悉,腾讯云也是国内首家直播 点播同时支持AVS2视频处理业务的公有云厂商,编解码器能够支持10bit、8bit的低时延与随机访问等多种配置。此外,在广电应用,尤其是8K场景中,部署方案中存在许多的与硬件板卡相关的合作与联动开发,对此我们也进行了大量的研发工作。

4

结语

AVS是我国具有自主知识产权的视频编码标准,实验室一直致力于AVS相关标准的制定和落地应用开发。随着音视频行业的发展与国家对于知识产权话语权的提升,我们相信AVS系列标准会越加普及,而我们的深度参与也是希望能够参与并加速这一进程。同时,腾讯多媒体实验室积极参与JVET、MPEG、VCEG、AOM、Video Quality Standards、3GPP、IETF等国际核心标准组织,推动技术落地。我们秉承公司的使命与愿景,一切以用户价值为依归,将社会责任融入产品及服务之中,推动科技创新与文化传承,助力各行各业升级,促进社会的可持续发展,研发更好的技术更好地为人民用户服务,科技向善。

请随时与我们联系并分享您的需求:

腾讯多媒体实验室

jeffreyye@tencent.com

作者:许晓中、李一鸣、张意晗

编辑:张意晗

0 人点赞