本次演讲来自The Video Insides。发言人是来自Verizon的Blue Jeans媒体工程副总裁Pierre Seigneurbieux。本文主要讨论了超低延迟的WebRTC协议如何推动实时参与应用程序的发展,包括视频通话、会议、事件和交互式体验。本文将讨论针对低延迟和屏幕内容调整视频编码器,以及AV1和QUIC如何成为该领域的下一代标准。
首先Pierre介绍了自己的背景以及如何进入视频行业。他在德州大学奥斯汀分校拿到了电气工程专业的理学硕士学位。之后进入多媒体实验室开始研究图像压缩和视频压缩。他曾在多个科技公司工作,包括思科、Exaview、Blue Jeans等。
Pierre简单介绍了WebRTC和HTTP的区别。目前网络上的大部分视频流量通过HTTP协议进行分发。WebRTC的区别于HTTP的特点是非常低的延迟。此外,HTTP视频按chunk下载,并由客户端驱动来选择合适比特率。但是WebRTC的视频流是由服务端控制并达到非常低的延迟,不需要接收端有任何的缓冲。
接着讨论了WebRTC如何在变化的网络带宽下传输视频。WebRTC根据数据包的离开和达到时间来测量带宽。根据反馈的带宽,编码器做出合适的决策。在WebRTC的配置中包括多个不同的帧率和分辨率,可以实现类似HTTP自适应流的结果。WebRTC更倾向于自我驱动,而不是客户端驱动。
Pierre分析了WebRTC的端到端延迟。为了在视频会议中双方进行有效的交流,网络延迟需要在100ms以内。如果超过200ms就会使得交互性降低。
主持人提问在视频会议中有时会使用摄像头,有时会采用屏幕共享,不同的方式会如何让编码器做出不同的选择和不同的配置。Pierre解释因为实时视频会议对延迟的要求高,因此视频编码没有B帧。在对幻灯片共享进行实时传输需要考虑的一点是当幻灯片切换时,如何让延迟尽可能低。编码器方面,WebRTC只支持谷歌开发的VP8、VP9和AV1编码器,并不支持HEVC。
Pierre继续和主持人讨论了WebRTC是否可以扩展到体育电视广播等数百万用户的视频流。WebRTC的问题在于其复杂度。因为WebRTC不是基于TCP协议和HTTP协议,因此需要处理底层的连接问题。因为WebRTC基于UDP协议,处理丢包和重传也增加了问题的复杂性。
Pierre介绍了对QUIC的看法。QUIC可以视为介于HTTP和WebRTC之间,因为它运行在UDP上并且可以交付HTTP流。QUIC可能成为类似HTTP的下一代标准。
最后探讨了开发WebRTC遇到的挑战。第一个问题是公共网络,终端用户可能使用很好的网络环境,也可能比较差。因此很难使WebRTC在所有网络环境下都适用。另一个问题是WebRTC也在不断更新中,应用开发者如何同时处理私有版本和社区版本的代码库,特别是如何处理来自社区版本的更新。Pierre希望WebRTC可以提供更好的可插拔性,更加容易加入、移除或者改变某个模块。