尽管HEVC(H.265)在2013年就完成了定稿,但直到去年苹果才宣布在iOS 11上支持HEVC。在封闭的苹果生态下,新的Codec应用还用了4年时间,何况其他开放的生态系统呢。2018年初,熊猫TV宣布开始支持HEVC直播间,虽然这次升级主要帮助运营方节省带宽成本(20%以上),但未来将会在移动端投屏下切换至更高的码率,提升用户端观看体验。作为本土主流的游戏直播平台,熊猫TV在新技术创新方面走在了同行前列,也给行业提供了实践参考。LiveVideoStack邀请熊猫TV CTO黄欢和金山云算法总监朱政解读了熊猫TV HEVC的实现,他们还对Codec的未来给出了自己的思考。
策划 / LiveVideoStack
LiveVideoStack:熊猫直播HEVC直播间面向哪些用户,或哪些软件和硬件平台条件的用户开放?
黄欢:由于手机型号的多样性,在上线前的测试阶段,我们进行了大量的兼容性、稳定性、性能、功耗、温度测试,在不同的软件系统环境和硬件配置情况下,尽量降低用户对耗电量和长时间观看设备发热的感知,最终选定iOS 10及以上系统版本和iPhone 8机型,Android 7.0及以上系统版本作为第一批开放设备。
LiveVideoStack:熊猫直播的用户通过什么方式观看HEVC视频?不具备HEVC解码能力的用户,自动切换到H.264流?
黄欢:目前熊猫直播的移动端均支持观看HEVC房间,熊猫直播平台会根据用户的设备情况、网络状态、用户的个性化选择,自动为用户选择合适的线路、分辨率、码率、视频编码方式,用户不会感觉到HEVC房间和其他房间的差异,一切都已经为用户自动配置好了。
LiveVideoStack:主播端实现HEVC推流,需要哪些条件?
黄欢:首先需要主播使用的硬件能够支撑HEVC编码。如果要使用硬件编码,需要芯片支持,比如iOS A10 Fusion chip。如果是使用软件编码,需要CPU具有较强的计算能力。其次,需要CDN支持HEVC转码,包括HEVC不同码率、分辨率的转换,HEVC和其他编码方式的转换。最后,需要主播端把相关功能配合起来,比如连麦、美颜、贴片。目前熊猫自研的主播端已经实现了HEVC推流。
LiveVideoStack:HEVC的房间、用户、播放时长等占总量比例是多少?
黄欢:随着用户硬解设备的升级更新,CDN厂商转码服务器扩容,HEVC房间数量在逐步增加,比例会越来越大。
LiveVideoStack:观看HEVC直播的用户主要来自移动端还是PC端?Android和iOS用户哪个多?
黄欢:观看HEVC直播的用户主要来自移动端,Android用户多一些。
LiveVideoStack:预计2018年HEVC在熊猫直播的“比例”达到多少?
黄欢:这要看用户使用的硬件设备情况,我们估计移动端占比会超过50%,其他平台的数据还不好预计。
LiveVideoStack:制约HEVC普及的因素还有哪些?如用户设备不具备硬解能力,CDN支持能力,HEVC专利费?
黄欢:HEVC正走在普及的路上,技术方案、软件和硬件的支撑能力、CDN的支持能力都已经具备。随着用户手中硬件设备的更新,会有越来越多的用户观看到HEVC视频。HEVC专利费主要是对硬件设备商收取费用,是IT巨头们需要面对的问题。H.264也有专利费,只要费用被控制在合理的范围,就不会是技术普及的障碍。
LiveVideoStack:预计HEVC和H.264在未来多长时间内,仍然在熊猫TV共存,这意味着一路直播需要提供HEVC和H.264两路流,增加存储成本。您如何看待这一局面,如何解决一困境?
黄欢:H.264方案一样有存储成本和转码成本,同等画质下HEVC码率更低,占用存储空间更少。HEVC直播间的带宽成本会下降。
LiveVideoStack:评估过VP9方案吗?
黄欢:我们应该是评估过了业内所有的视频编码方案,包括VP9。VP9看起来很好,但是IT业内基本上只有Youtube在用。我们直播认为VP9没有被业内广泛支持的一个原因是到2017年为止,VP9的规范还没有定稿(final),还是草案状态(draft)。结合熊猫直播的情况,这里不说VP9的优点,只说在直播行业内使用VP9会遇到的问题。在主播端,VP9编码速度很慢,比HEVC还慢,因为几乎没有硬件厂商支持VP9硬编码。在观看端,Apple公司明确支持HEVC,不支持VP9。
LiveVideoStack:Google和他主导的AOM联盟正在大力推进AV1,预计近期会完成定稿,一些硬件参与到标准制定中,AV1开源、免专利费。同时FVC也将在2020年左右完成定稿,熊猫是否在评估AV1和FVC?
黄欢:Google力推的VP8和VP9都没有达到预期效果,Google这次拉来了Apple公司和硬件巨头加入,AOMedia Video 1看起来靠谱很多。我们一直在关注AV1。FVC定稿时间太遥远了,从定稿到业内上下游进行支持还需要一段时间,目前我们不做评估。
LiveVideoStack:对比H.264方案,采用HEVC方案后,是否评估过两者成本,或同样成本下用户观看画质清晰度、流畅度等主观评分?
黄欢:CDN成本主要有两个方面。第一个是带宽成本,根据我们的盲测,相同分辨率和画质下,HEVC的码率是H.264的70%左右,至少可以节约20%的带宽。第二个是转码成本,因为要支持用户可以选择多个码率和分辨率,H.264方案和HEVC方案一样,都需要转码。
LiveVideoStack:熊猫直播是否在考虑支持HDR?
黄欢:HEVC标准对High Dynamic Range (HDR)支持很好,但是观赏HDR内容需要显示设备支持,据我们了解现在只有少数几款国外品牌旗舰手机支持显示HDR内容,例如苹果公司的设备里面只有iphone X是完全的HDR显示屏,iphone 8和iphone 8 plus只能显示部分HDR增强效果。预计要等到国产旗舰手机支持显示HDR内容时,我们才会考虑支持HDR。
LiveVideoStack:推出金山KSC265方案后,团队主要的研发重点是什么?2018年会哪些目标?
朱政:编码团队的研发重点会围绕几个方面。
- 慢速档压缩性能的提高。KSC265在快速档具有速度和压缩性能双重优势,而且压缩性能优势非常明显。但是慢速档要获取压缩性能的优势难度比较大,因为标准的能力本身有限制。我们希望通过精耕细作可以在PSNR/SSIM计算的bdrate上比当前gain 10%以上
- 感知编码。Netfilx基于VMAF的per-title encoding,阿里的窄带高清,或者腾讯的主观优化,我们都归于perceptual encoding范畴。之前因为完全自研底层编码器,我们更关注通用的性能和复杂度指标。接下去我们在感知编码的各个方面和环节都会发力。
- 针对特定场景的调优,包括重点客户的典型场景。
- Deep Learning Encoding
LiveVideoStack:熊猫TV主要内容为游戏直播,会不会对其进行(持续的)针对性的优化?
朱政:当然会。熊猫是重点客户,游戏直播也是典型场景。
LiveVideoStack:开源、免专利费,有Google带领,苹果加盟,AV1获得了众多巨头普遍响应。金山是否在考察AV1,如何看待AV1的未来?
朱政:金山在考察AV1,但因为其目前速度太慢,还没有办法做深入分析和实验。我们虽然在HEVC上耕作了很多年,但绝对拥抱新技术和新标准。
AV1目前的疑问是在公平条件下与HEVC相比较,由标准本身带来的压缩性能提升到底有多少。如果有20%以上,我们觉得其未来大有可为:
- 免专利费;
- 安卓 iOS 浏览器 硬件 YouTube/Netflix内容的生态,而浏览器这一环是HEVC缺失的; c. 比MPEG方面的下一代标准(FVC)早了好几年。
从历史经验看,Google力推的标准流行程度不一定差于MPEG系列,比如WebP就流行了,然而JPEG2000就死掉了。当然视频格式的推广要比图片格式更难。未来仍有不确定性,我们拭目以待。
LiveVideoStack 2018年春季招聘
LiveVideoStack是专注在音视频、多媒体开发的技术社区,通过传播最新技术探索与应用实践,帮助技术人员成长,解决企业应用场景中的技术难题。如果你有意为音视频、多媒体开发领域发展做出贡献,欢迎成为LiveVideoStack的一员。我们正在招募商务助理,高级编辑,策划编辑,课程经理。