导语 | 腾讯云视立方·音视频终端SDK是腾讯云音视频倾力打造的音视频通信终端一体化产品，为客户提供移动端、PC端、Web端、小程序端等多平台直播、点播、短视频、实时音视频、美颜特效等音视频及通信能力。为了满足用户日渐增强的高清视频观看需求，腾讯云视立方·音视频终端SDK升级推出终端极速高清方案，基于终端实时超分技术，降低视频传输成本的同时大幅提升用户观看体验，全方位助力企业降本增效。使用腾讯云视立方·音视频终端SDK的客户，只需进一步在SDK中集成终端极速高清插件，便可快速在端侧实现视频播放的超分后处理！
背景介绍
随着网络视频市场规模的扩大和各种技术的提升，标清、高清、超高清等各种概念和相关产品不断衍生，反映出的是日渐强烈的用户需求：更清晰的视频观看体验。
但视频从生产到播放过程中可能因为各种限制导致最终无法观看到清晰的视频。视频从生成到观看大概有下图所示的几个环节：
- 视频制作：因为拍摄设备和技术的限制，拍摄的原始视频清晰度较低，比如一些的老旧视频；同时拍摄完的视频在进行一些编辑处理的过程中也可能因为各种限制，导致视频清晰度受损。
- 视频存储：高清视频意味着更高的存储成本，因此为了节约存储成本，企业往往会对视频进行压缩后再存储，导致视频清晰度受损。
- 视频分发：与视频存储环节类似，视频分发时，企业为了节约带宽成本和提升播放流畅度， 通常会将视频转码成流畅、清晰、高清等多个清晰度的视频流。用户选择低码率的视频流就意味着低清晰度的观看体验。
在这些情形下，视频播放时的画质很难得到保障，传统云端画质增强方案也难以平衡画质和传输带宽成本，而终端实时超分辨率后处理技术为这个问题带来了转机，该技术可在终端进行视频播放时，对视频画面进行实时后处理，从而在提升视频观看画面主观视觉效果的同时不增加企业传输带宽成本。
终端超分辨率技术
超分辨率的目的是通过一系列低分辨率图像来重建一幅高分辨率图像，从而实现观看画质的增强。目前云端的超分辨率技术已可实现画质的大幅提升，但也会给视频存储和分发环节带来更高的成本，而终端的超分辨率技术虽然可以很好的解决这个问题，甚至进一步降低成本（企业可在云端降低视频码率，在播放时利用终端超分来提升画质，从而在保证画质的前提下节省传输成本），但将超分算法部署到终端还存在一系列挑战：
- 终端算力限制：用户在观看视频时除了对视频清晰度有要求，对视频播放的流畅度也有要求。如果终端算力不能做到高性能、实时性，反而容易导致视频卡顿甚至加载失败，严重影响观看视频体验。
- 能耗限制：播放视频涉及到解码和渲染，本身即为高能耗的操作，如果超分算法不能做到低能耗，则容易导致视频播放时出现耗电量大、设备发烫等情况。
- 机型适配限制：视频播放始终需要考虑机型适配性和兼容性问题，保证终端超分技术在不同设备型号、操作系统、系统版本的多种机型上均可正常应用。
- 包体大小限制：新增能力不可避免的会带来一定程度的包体积增加，而过大的包体积，不仅会给分发和安装带来诸多不方便，也会降低用户的下载和安装意愿。
针对目前播放画质的困境和终端超分技术的挑战，腾讯云音视频团队基于多年技术沉淀和深厚技术底蕴，在传统超分辨率技术的基础上，通过一系列算法优化和终端部署优化工作，解决了各项挑战并推出终端极速高清解决方案。客户只需在腾讯云音视频终端SDK中集成终端极速高清插件，便可在终端播放环节实现全方位画质增强。
腾讯云终端极速高清解决方案
技术实现
腾讯云终端极速高清解决方案使用腾讯云自研终端超分算法，充分利用终端设备硬件OpenglMetal的运行能力，针对视频播放场景实现画质实时增强的同时，达到计算量和画质增强的平衡，保证终端算力的实时性以及算法运行的低能耗。
算法核心步骤（以对一帧数据进行2X超分为例）：首先对输入的图像进行去噪，然后进行超分处理，最后进行色彩HDR增强，最终输出画质增强后的图像。
腾讯云终端极速高清解决方案在终端部署过程中还充分考虑了机型兼容性问题，开展了海量机型测试和线上灰度验证。结果表明该方案可100%适配当前主流设备机型，全设备机型的适配率也超过90%。同时为优化客户体验，腾讯云终端极速高清能力以插件形式提供，可动态灵活的集成到APP中，全面降低维护升级成本，同时经验证，集成插件后带来的包体增量小于1M。
应用效果
为验证腾讯云终端极速高清能力在实际场景中的应用效果，我们对比分析了同一视频在不同状态下的播放效果。
以实验视频为例，视频长度30s，原始视频清晰度为720p，在同一播放器内分别使用下述3种方式播放：
- 将720p原始视频在云端转码为540p视频，然后直接播放。
- 将720p原始视频在云端转码为540p视频，开启腾讯云终端极速高清能力后播放。
- 直接播放720p的原始视频。
其中720p原始视频的文件大小为18.4M，在云端转码为540p的视频文件大小为9.5M。
播放效果对比如下：
540P未超分视频（左）与540P终端超分后视频对比（右）
540P终端超分后视频（左）与720P终源视频对比（右）
从对比中可见：
- 540p视频在开启终端极速高清前后，画质有了显著增强，腾讯云终端极速高清能力有效提升了视频播放画质。
- 开启腾讯云终端极速高清能力的540p视频在画质表现上和720p源视频基本一致，而540p视频文件大小仅为720p的一半，腾讯云终端极速高清能力可以在保证播放画质的情况下，显著降低视频文件的传输成本。
同时在能耗方面，开启腾讯云终端极速高清能力后，播放设备的电流增加小于100mA，额外耗电几乎可以忽略。
我们的优势
- 全方位降本增效
基于大量实验测试，验证了腾讯云终端极速高清在以下两种典型场景下的均有杰出应用效果。
- 成本优化：保证画质的前提下，降低视频传输成本（平均节省50%以上）。如在云端将 720p 视频降档为 540p 进行传输，减少带宽成本，在终端播放时利用超分技术将视频画质增强，以接近720p 的效果进行播放。
- 画质提升：将原本低分辨率的视频增强为高分辨率视频，提升视频播放清晰度，实现画质优化。
- 灵活的插件形态
腾讯云终端极速高清服务以插件形式提供，高度适配腾讯云音视频终端SDK。插件独立维护，可自由灵活地配置、替换和升级，具备极强的可测试性和可维护性。
- 超低集成门槛
基于腾讯云音视频终端SDK，集成一步到位，只需在SDK中集成插件即可使用相关功能；同时充分考虑客户集成和使用场景，支持简易自由的配置终端极速高清能力的开启与关闭，适用于不同视频场景需求，极大程度上降低功能的接入、使用和维护成本。
未来展望
如今视频已经成为最重要的信息传递方式之一。高清画质意味着更多的细节和更高密度的信息，在市场需求不断升级的当下，我们也将持续探索更多的应用场景，针对不同场景进行智能编码，实现画质增强体验的进一步优化。另外我们也将结合腾讯云多年的云端技术优势，考虑云 端的联合画质增强方案，充分利用多方资源实现更全面、更强大、更完整的终端画质增强方案。最后我们也将积极与终端硬件厂商进行合作，寻求更适配的硬件方案来提升算法在终端设备上的应用效果，最大程度降低算法部署对终端设备带来的影响。
目前腾讯云终端极速高清功能可免费使用，点击文末「阅读原文」查看腾讯云官网使用及接入文档。
腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备 RT-ONE™ 全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代，提供坚实的数字化助力。
