受疫情影响，2022年北京冬奥会将成为首届“无观众”奥运会，但这不意味着我们将错失现场的精彩。无法到场的观众们不仅将享受到高清、实时的比赛画面，更能通过手机、电视大屏等终端自由选择观看视角，成为自己的"导播"来捕获每一个赛事瞬间。这一“炫酷”观赛体验正是基于“5G 8K”技术。作为5G下重要的新兴媒体格式，8K技术比传统的4K与1080P在分辨率、色彩位数、亮度以及帧率等方面实现了全面提升。但带来超高清画质的同时，8K还意味着高带宽与高存储。20分钟的未压缩8K视频要求近4T的存储空间，这对视频的生产效率和传输提出了挑战。
而作为腾讯旗下顶尖的音视频技术研发团队，腾讯多媒体实验室已提早布局，助力8K超高清视频产业的发展。近年来，在刘杉等专家的带领下，多媒体实验室在多媒体压缩、多媒体系统传输与5G、以及多媒体AI等多领域都达到国际领先水平。2019年，腾讯多媒体实验室正式成为8K工业联盟的董事会成员，积极推动8K生态系统建设。
腾讯多媒体实验室，专注于多媒体技术领域的前沿技术探索、研发、应用和落地，包含音视频编解码、网络传输和实时通信，基于信号处理和深度学习的多媒体内容处理、分析、理解和质量评估，沉浸式媒体（VR、AR、点云等）系统设计和端到端解决方案；同时负责国际国内行业标准制定，包含多媒体数据压缩，多媒体系统传输和5G，以及多媒体AI和开源平台等。
01
积极参与标准制定
以技术推动超高清产业发展
想要触及大众，8K推广中首先要解决的就是视频编解码问题。没有相应的编解码技术，视频的流畅传输将很难实现。目前主流的国际视频编解码标准包括H.264/AVC, H.265/HEVC 和2020年刚刚制定完成的H.266/VVC。在同等的主观质量下，H.266/VVC能比上一代国际视频编码标准H.265/HEVC节省近一半的带宽。由于8K视频所需的超高带宽，H.266/VVC成为8K推广的关键技术之一。
举措
腾讯多媒体实验室积极参与H.266/VVC标准制定，不仅技术提案数名列前茅，而且有超过100项提案被采纳。同时实验室专家在标准组织中担任包括标准联合主编、参考软件联合主席等重要职务。根据2021年8月德国知识产权分析平台发布的调研结果，腾讯在参与H.266/VVC标准制定的众多公司中位列前三，实现了超强的影响力。
这些新的视频编解码标准将重塑我们的线上生活，带来全新的商业模式。在移动端方面，自2020年起，小米、三星等一系列厂商都陆续推出了具有8K视频拍摄功能的手机，为手机看8K带来了基础。但与目前主流的1080P视频相比，8K的分辨率足足大了16倍，对移动端的视频编解码技术的要求更是几何倍的上升。那么如何才能在手机上流畅地播放超高清视频？腾讯多媒体实验室率先给出了答案。
在H.266/VVC新标准定稿两个月后，腾讯多媒体实验室就发布了国内首款H.266/VVC高清/超高清实时播放器，该播放器内置腾讯自研H.266/VVC软件解码器，可以支持超高清以及屏幕内容分享等场景的实时解码，各项性能指标国际领先。很快，手机看8k即将成为现实。这不仅意味着颠覆性的观看体验，更将刷新现有的视频玩法。8K蕴含的巨大信量及高分辨率允许各种细节完美呈现于屏幕，放大看、互动标记等更细颗粒度的玩法将为未来媒体的运营带来无限可能。
对于电视终端来说，虽然大部分消费者对8K电视还处于观望状态，但依据工信部的发展规划，我国的8K电视占有率将在2022年达到5%，相较2021年增加200%以上。而随着我国首部8K拍摄的人文纪录片《万物之生》与电视剧《两个人的世界》的上映，8K产业上游内容的增多必将为消费环境注入活力，8K直播、点播在家庭场景下的应用成为等待探索的巨大蓝海。而针对8K直播中网络的波动、延迟对超高清视频的传输质量造成的影响，腾讯多媒体实验室的团队从拥塞控制、损伤抗性、QoS/QoE最优化、多人通讯控流及网络度量等五大功能点出发，为复杂场景下8K直播的音视频传输提供了高质量的可靠解决方案。
另一方面，在腾讯多媒体实验室专家的推动下，国标AVS-3已采纳腾讯提出的屏幕编码工具等数十项提案。这项全新的国家标准在性能上将超越上一代AVS-2标准30%左右。此外，腾讯多媒体实验室积极参与MPEG、VCEG、JVET、AVS、AOM、3GPP、IETF等国际核心标准组织，目前已经有超过500项技术提案被不同标准采纳，同时实验室专家在各标准组织中担任重要职务，在深入标准研究制定的同时积极推动标准技术落地，广泛应用服务于腾讯各业务线。
02
“8K VR/3D/AI”
腾讯助力构建沉浸式媒体解决方案
8K带来的极致的画质体验还为媒体行业带来了新机遇——沉浸式媒体。通过数字化重现三维世界，沉浸式媒体技术将时间、空间信息依据个体需求更准确地反馈给用户，这种与“现实”的全新互动模式将颠覆我们认知世界的方式。而要实现这些，从图像数据采集、3D构建、传输、处理分析到播放的整个流程面临着诸多的技术难点。自2018年起，在众多专家的探索下，点云和VR360等技术得到了突破性进展，腾讯多媒体实验室实现了端到端完整技术链条，助力用户快速获得沉浸式的展示能力。
举措
故宫瑞雪
通过优化算法，腾讯自研的3D点云技术能适配普通的商用设备进行数据采集，在复杂情景下对静态图像进行快速的处理，并通过点云处理、压缩传输和3D云渲染等技术保障用户在整个流程中拥有更完整顺滑的体验。作为沉浸式产品的另一重要组成部分，VR360技术让观众能够通过全景移动或佩戴VR眼镜式来调整观看角度，获得定制化的观看体验。从今年1月初的“故宫瑞雪直播”到刚刚结束的腾讯WE大会，依托VR360技术，直播已经实现了在iOS、Android、Web以及小程序等多终端展示360°的全景视觉特效。
此外，在AI的助力下，腾讯多媒体实验室通过降噪、超分、去划痕雪花、去压缩失真等处理形成了多种视觉处理方案，可以将低分辨率的图像提升至超高清。这意味着不同时代的老电影将借助修复技术重新被搬上大荧幕，带来更丰富的超高清视频内容。另一方面，用户行为分析、人机交互等功能的发展也离不开AI的应用，未来，人工智能将推动互动视频的发展，带来实时的交互体验。
在全真互联概念火热的今天，用户对沉浸感、互动性的需求逐渐增高。腾讯多媒体实验室抢先抓住机遇，积极参与超高清视频技术的推广与落地。从观赛、购物、教育到文博、房车、医疗，随着超高清视频应用场景的扩展，相信在未来，8K分辨率技术与沉浸式媒体的结合将为更多的垂直领域赋能。腾讯多媒体实验也会继续在这些领域进行探索，与合作伙伴分享最前沿的技术红利，为用户带来更可靠的高质量技术服务。
请随时与我们联系并分享您的需求：
腾讯多媒体实验室
medialab@tencent.com
