本文根据快手音视频技术负责人于冰在LiveVideoStack大会2019北京站的分享整理而成,内容有删节。于冰表示,5G和AI代表着多媒体的未来,无论是普通消费者,还是行业从业者,都绕不开这两项技术。
文 / 于冰
整理 / LiveVideoStack
大家好,我是来自快手的于冰。首先感谢来自世界各地的音视频技术专家们来到本次大会,很多人在这个会上相识、相知,还有不少志同道合的同学走到了一起创业,一起去做一些有挑战的事情。2016年的时候我刚到快手,在那个时候还没有LiveVideoStack,大家当时都看美国的Streaming MediaEast/West的内容,后来还出现了DEMUXED大会,今年更是新出MHV大会。而LiveVideoStack是我们中国自己的音视频技术垂直社区,非常难得。我觉得LiveVideoStack成功的因素主要有两点。一个是专业的人,这里聚集了行业最好的人,包括最好的编辑团队和最好的技术人;另一个是地位中立,所有人都可以来,所有人也都愿意来,所以在我看来这是一个非常好的交流平台。
接刚才主编的话题说一下,还是希望LiveVideoStack每篇文章都要把内容质量做到极致,大家的文章创作是倾注了非常多心血的,想要把放很多干货进去,但是一旦有细节做得不到位,影响力和公信力就会大打折扣。快手团队对于原创的、翻译的每篇文章,都要经过无数次的修改才能发布。目的是保证最终呈现给读者的效果最好,把技术更好地传播出去,吸引专业的读者,所以我希望整个社区都能把这件事情放在心上。希望LiveVideoStack成为做音视频技术的同学们每天必读、积极贡献的内容社区。
视频技术实际上是包罗万象的,来LiveVideoStack你就能一次性学到图像处理、计算机图形学、大数据、人工智能等多方面的综合知识,多媒体技术里包含信号处理、音频、传输等方面的技术,还有涉及人机交互的移动端和服务端的技术,算法和工程交织,AI和传统算法并用 —— 所有最新潮的东西在这个行业里都有,所以我才说音视频技术是天下第一等事。大家如果读过王阳明的书应该都知道,他一生都在追求第一等的事,我们这群人现在也是在做天下第一等的事。这是因为,随着互联网基础设施、终端技术的发展,音视频的影响力与日俱增,所以它非常值得大家去热爱。反正我这辈子一定是做这一件事了,也希望能够吸引更多的人才到这行业里来一起开拓。
大家都很关心5G,很多人都说2019是5G元年。5G网络已经开始到处部署,包括快手总部附近也在部署5G网络,可能不久之后就会有实际可用的5G网络、5G手机。最近新出的5G手机的价格在3000元左右,网络速度非常地快,到明年可能会有2000块钱、1000多块钱的5G手机发布,5G手机成本的降低会加速5G的普及。随之而来的是所有人都在期待5G带来的新应用。对此我找到一张很老的网图,这是2010年的一篇文章,叫《4G网络的五个“杀手级”应用》。文章预测得非常准——移动视频直播、移动便携游戏、云计算都成为了现实,比如文中提到的移动视频直播,由于许多手机都携带摄像头,将来可以利用视频应用程序将视频实时采集发布到网上,做流媒体视频直播。文中的预测,也只有“增强现实”目前来看没有特别普及。
回想4G刚起步的时候,全球所有的运营商非常焦虑,都在到处寻找4G的应用场景,跟今天特别像,而很多人当时没有想到,最大的应用场景便是智能手机。智能手机的爆发加上WIFI 4G的普及,把行业带到了一个非常革命性的新高度,现在所有人只要醒着恨不得时时刻刻都用手机,使用PC或者看电视的场景都被大幅压缩了。这个生活方式的变化在当年是无法想象的。但另一方面,在5G时代,替代手机的终端还没有出来,所以我觉得5G很可能不是革命,反而更像是一种催化剂,它会让移动网络体验更好,也会让视频体验更好。不妨想象一下,到处都是5G微基站,网络特别好,带宽特别高,延迟特别低,到时候视频会在5G网络的加持下,像空气和水一样无处不在。
大家不妨试想一下5G时代第一个杀手级应用是什么,我们同学开玩笑说,第一个杀手级应用毋庸置疑是speedtest,因为用户会到处拿着手机测网速,看看5G到底有多快。玩笑归玩笑,在这个混乱发展的过程中,也可以看出整个行业的变化,很多的应用、玩法可能是用户玩出来的,或者是一些很边缘的团队,或者是创业公司做出来的东西,只有这样它才能够有足够的创新从而爆发,如果大家都想一样的东西,都扎堆去做VR、AR,这不一定是用户真正喜欢的,也不是真正的创新,还是建议能有更多差异化的尝试。
5G从earlier adopter到真正大的成熟市场应用还有很大的鸿沟要跨越。这其中我认为主要的影响因素有三个:体验、成本和技术。有关体验这一点已经有很多用户在吐槽,如果4G的速度能够再提升、资费也能相应降低的话,并不会青睐5G;还有人提到说4G已经很好地满足了我的要求,包括网络稳定性、覆盖率、能耗、辐射等方面,而5G在这些方面可能还不如4G好。
我们前段时间做了5G的直播实验,发现一下雨,信号就衰减的特别厉害,隔一道墙就没信号,所以5G技术还有不少困难要克服。除去刚刚谈到的这些,还有很多人关注5G刚需和伪需求的悖论,大家都觉得网络那么快了,做完4K应该做8K,但是4K和8K到底有多大的需求量?比如移动端手机目前最大就2K的分辨率,做到4K分辨率不一定有必要,那么8K视频要用户怎么看?这都是很有意思的问题。再比如VR,大家想象一下,如果要让人们都戴着VR的头显坐在家里看视频,需要这个设备足够轻量、足够清晰才行。
对于新技术而言,体验是其中很重要的一环,我认为体验最重要的是要有沉浸感,5G实际上做的就是沉浸感升级的事情。我看过高通的一个报告,从Immersive体验的本质定义出发,它实际上并不是说一定要VR。Immersive实际上是一个广义的概念,首先visual quality和sound quality都要达到非常高的指标,能够以假乱真,但是更重要的还是要有符合人直觉的交互,交互的改变其实也很重要。总结下,Immersive体验就是高品质音视频的展现和便捷的交互,这两个都是同等重要的。
以长视频为例,它其实是一个先种草,再沉浸的体验。其问题在于种草期的体验是很不沉浸、很不连续的:用户主要靠浏览、搜索,部分通过推荐,找到喜欢的内容,然后沉浸下去观看—往往在找的过程中用户就已经没有耐心,流失了。当然找到想看的内容后,沉浸的体验目前已经做的比较好了,标配1080P,VIP账号可以看4K,有全景声版本,下一步扩展到了VR、8K、3D,这所有的东西都加进去,就是为了保证沉浸感体验里面呈现的效果足够好。但我觉得种草阶段的体验还需要想办法创新,从而给用户更沉浸的体验。
接下来再说说短视频的趋势,这两年短视频发展很快的原因是因为用户在打开短视频APP的瞬间,直接就沉浸进去了,因为推荐引擎出来的内容直接就是用户喜欢的。清晰度更是一直在升级,720P是标配,后面是1080P、4K。从浏览、搜索,变成了信息流推荐、上下滑。其中上下滑体验更是创造了一个极致的沉浸模式。所以希望大家可以进一步想一想,在5G环境下怎样做,可以让用户更容易沉浸。
以前电视都是坐在沙发上,轻按遥控器看电视。但那个时代已经过去了,用户依赖的产品从电视变成了手机,所以5G时代很可能手机还是大家娱乐的中心,前段时间华为推出了智慧屏,想看电视时电视就变成了手机的扩展,而想看8K视频的时候,用户就可以把它投到电视上看,但在2K屏幕的手机上看8K视频应该是没什么必要的(另一种可能性就是等柔性屏成熟了,有可能在手机上提供更大的屏幕面积)。
阻碍5G跨越鸿沟的一个主要因素就是成本,成本非常阻碍5G技术的应用。首先是设备成本,8K电视机就很少有消费者能买得起,它的价格至少还要再过几年的时间才能够降到大众消费能力以内。另外VR/AR头显也比较贵,现在需要两三千块钱才能买到好的一体化VR头显,分辨率还不够高,AR设备更是动辄上万。最后是数据资费贵,用户侧的数据资费是一个特别头疼的问题, 4G流量费贵的原因是因为运营商的成本高,而5G时代的资费成本只会更高。
前一段时间我们在上海的一个会上,跟几大运营商的老师们聊了聊,从他们角度来看,头疼的问题就是5G的投资太大。有海量的微基站需要部署,三家运营商就需要部署三套,整体的投资非常巨大。如果要做SA独立组网,整个骨干网都要做改造,因为原来的骨干网是接近饱和的,这也会引出海量资金的投入。还有一点是终端带宽太高,骨干网是扛不住的,需要做边缘云MEC,预期成本也非常高:要把云布到用户家门口,价格预期也十分昂贵。其实5G的概念非常好,但是成本投入大、建设周期长,这些对于5G的普及都是很大的限制。
对于内容提供商(快手其实就是一个内容提供商)内容制作成本会更高。比如做8K视频的摄像机、整个制作流程、整个后期渲染,这些东西都非常贵。另外成本的大头是传输 存储,IDC和CDN成本可能要翻好几倍,这个成本降不下来我们也不会轻易升级到更高的分辨率。
要想驱动5G跨越鸿沟,最有希望的方式就是靠技术,如果能够通过技术方式把成本降下来,同时把用户体验做的更好,就可以促进5G的普及。比如5G时代压缩存储需要支持超高清,比如海量的4K / 8K的视频要做压缩,这大概率是软件没办法完成的任务,所以在这方面很多公司都在布局做硬件编码器,是很有意思的一个方向。关于存储,海量的超高清视频需要存储,如何通过技术来降低成本。然后传输、交互,在5G下可以做到非常低的延时,我们在这样的条件下可以做到一些新的玩法,比如云游戏、远距离合唱等。
另外,我们认为除了这些基础技术之外,AI 是最关键的,是构建视频内容和社交生态的核心。用户体验中有一个很重要的核心叫内容为王,快手平台本质就是一个AI 数据驱动的,内容生产与消费的闭环,从内容生产开始,到内容的理解,然后做用户理解和内容分发,再到内容消费和促进用户之间的互动,通过互动再进一步促进内容生产,是这样一个正向演进的闭环。我们认为,这个内容的正向闭环是整个行业发展的核心。现在很多媒体、电视台、政务号、MCN都迁移到了这个平台上来,可以得到传播的影响力,可以有商业化的收入,在可见的未来,5G会加速这个循环,更好的体验会引入更多的内容生产者和消费者,它会带动所有技术再往前发展,帮助大家跨越5G的鸿沟。
5G时代杀手级的应用都有什么,我们谁都没办法准确预言,但是关于6G倒是可以大胆预测一下。6G时代一定是脑机接口,6自由度的点云以及真正的AI。这些东西都Ready的话其实就是类似于《头号玩家(Ready Player One)》所预言的那个时代会到来,年轻的同学们不妨多往这个方向努力。