据亚马逊云科技2021年研究分析，全球云游戏市场预计在2023年高达到51.4亿美元，云游戏正逐步成为新兴的游戏形态。云游戏把传统由本地渲染的游戏进行云化，由云端完成游戏画面的渲染，随后通过视频编码把画面传递到用户终端。随着「云原生」技术的发展，云游戏画面纹理呈现高密度、高精度的发展趋势，这也给云游戏视频编码的画质带来巨大挑战。
近日，腾讯多媒体实验室发布了首款面向视觉无损的3A游戏编码引擎，落地START云游戏，将高精、高密的影视级画质体验「视觉无损」带入云游戏行业。
01
复杂3A游戏编码成「云游戏」痛点
今年6月，腾讯首款原生云游戏技术DEMO「EVOLUTION·进化」发布，标志着腾讯云游戏进入「云原生」时代。原生云游戏集中了云端更多的计算资源，实现实时高密度、高精度的细节纹理渲染，为游戏玩家打造了影视级别的画面效果。
图1. 原生云游戏「EVOLUTION·进化」的高精度纹理
虽然高密度、高精度的画面细节给玩家带来了无与伦比的游戏体验，但是同时也给云游戏的视频编解码带来了重大挑战。试想一下，当玩家在游戏中「激情酣战」时发动了酷炫的游戏技能，但由于网络带宽的限制，视频编码无法清晰地还原画面细节，这无疑会大大降低云游戏的视觉和游戏体验。此外，在游戏场景下，游戏玩家可以随意自由切换或旋转视角，这也会给编码码率的稳定性带来很大挑战。简而言之，云游戏可以说是所有RTC「Real Time Communication」业务中对画质、延时和抖动要求最高的应用场景。
图2. 3A游戏「仙剑奇侠传7」视角快速旋转
面对上述挑战，多媒体实验室技术团队逐步向视觉无损的方向寻找突破——面对复杂纹理的3A游戏，传统编码方案往往需要50-100M的网络带宽才能有较好的主观画质。而在多媒体实验室发布的首款面向视觉无损的3A游戏视频编码引擎中，通过前处理滤波、视频编码优化、实时画质评价反馈调节等环路通力协作，更低的网络带宽也能带来「视觉无损」的优秀体验，这也将成为行业优化的典范。
02
基于AI的视觉无损编码助力「云游戏」画质「起飞」
随着AI技术的发展，人工智能能够很好地应用在视频编码、前后处理等环节，在保证视觉无损的前提下有效降低视频编码的网络带宽。目前这个领域也正逐步引起行业的关注。 针对云游戏场景，多媒体实验室提出了基于AI的视觉无损编码优化方案，具体在以下两个方面取得突破：
人眼「看不见」的细节不编码
一方面，多媒体实验室提出了基于恰可观察差异「JND，Just-Noticeable Difference」的编码引擎。该引擎基于人眼的视觉系统，根据人眼对不同画面区域感知度不同，实现编码自适应策略。在AI识别到画面中某区域人眼视觉「差异不可感知」时，引擎对游戏画面做前处理滤波，去除人眼不敏感的高频分量，从而节省编码码率。
图3. 3A游戏「仙剑奇侠传7」部分草地区域前处理(滤波)画面对比
图4. 3A游戏「仙剑奇侠传7」草地前处理(滤波)区域所在区域
人眼「感兴趣」的区域细编码
另一方面，多媒体实验室应用了基于人眼感兴趣区域「ROI，Region of Interest」的编码算法。游戏编码可结合具体场景，对「用户感兴趣区域」优先分配更多码率。这样即使在码率不足时，也可以优先保证人眼重点观察区域有比较好的画质，相比传统编码器大幅提升主观画质。
图5. 3A游戏「仙剑奇侠传7」基于先验知识的用户感兴趣区域配置
03
首款3A游戏编码引擎落地START云游戏
腾讯多媒体实验室在复杂3A游戏纹理编码领域的研究领先整个云游戏行业，目前「首款3A游戏编码引擎」已经落地START云游戏，并在众多3A游戏上有优秀表现。
图6. 「腾讯首款3A游戏视觉无损编码引擎」面向的游戏场景
「3A游戏编码引擎」助力「云游戏」画质「起飞」，玩家在云游戏上体验3A游戏的视觉画质差距跟主机游戏大大缩小，让云游戏逐渐成为游戏行业的「新业态」。相比「传统视频编码引擎」，「3A游戏视觉无损编码引擎」不仅画面细节更加清晰，而且在游戏快速运动场景码率也更加稳定，以下是云游戏「仙剑奇侠传7」在20Mbps码率的效果对比：
图7. 视觉画质：传统编码引擎(左) vs. 3A游戏视觉无损编码引擎(右)
图8. 码率稳定性：传统编码引擎(蓝线) vs. 3A游戏视觉无损编码引擎(橙线)
作为国内头部云游戏厂商，START云游戏一直致力于提供游戏玩家的最优质的画质体验，其游戏纹理复杂度也远高于其他厂商。面对这方面挑战，「腾讯多媒体实验室」提供的基于主观视觉无损编码引擎，保证START在众多云游戏竞品平台中均保持最高画质。
图9. 3A游戏「星际战甲」在不同云游戏平台下的画质对比（使用SQoE评分，详见附录[1]）
作为新兴的游戏模式，云游戏将会成为全真互联的重要场景。腾讯多媒体实验室在3A游戏视觉无损方向的优化也将在更多品类的游戏画质提升上起到越来越大的作用，成为行业标杆。
附录：
[1]SQoE(Start Quality of Experience)评价指标是腾讯多媒体实验室为云游戏场景定制的视频主观画质评价指标。SQoE基于视频图像和编码信息，结合神经网络训练得到视频主观质量分数 MOS(Mean Opinion Score)，满足云游戏实时性的要求。此外，SQoE评价指标也应用于腾讯云游戏认证的画质认证，为智能终端设备呈现的画面效果提供更符合人眼主观视觉的评价度量。同时，SQoE评价也是智能电视4星认证的重要标准。
往期回顾
01
浅入浅出谈“视频压缩”
02
技术科普｜为什么看片可以这么“爽”？
03
解密香港回归25周年历史影像刷屏背后的技术密码
请随时与我们联系并分享您的需求：
腾讯多媒体实验室
medialab@tencent.com
编辑：Yihan
