Zoe Liu:被Chrome Media团队的专注精神感染

2021-09-01 10:18:42 浏览数 (1)

在WebRTCon 2018期间,Google软件工程师Zoe Liu接受了LiveVideoStack社区编辑丁雪丰的采访。Zoe畅谈了AV1及VP9的现状与应用前景,以及从On2到Chrome Media坚持20多年做编解码研发的团队。

策划 / LiveVideoStack

视频内容

LiveVideoStack:大家好,欢迎来到LiveVideoStack采访间,我们现在是在WebRTCon 2018的现场,在我旁边这位是Google的软件工程师Zoe,你是第二次来参加我们LiveVideoStack组织的大会,可能还是有些朋友不太了解你,向观众介绍下自己?

Zoe Liu:我去年10月参加了LiveVideoStack的第一次大会,这次是第二次,刚刚从美国的旧金山湾区过来。我现在是在谷歌工作,目前是软件工程师。在谷歌之前我在一些实验室工作过,包括贝尔实验室,诺基亚研究中心,惠普实验室等,后期转入工业界,开始是在苹果,后来进入TangoMe这家小公司,接下来加入了Google。但是这么多年来从来没有离开过视频这个领域,而且更窄一点,没有离开过视频编码和视频通信这个领域。我曾经做过一些实时的视频通信产品,包括在苹果做过FaceTime,一共做了三款,然后在TangoMe做移动端视频电话App,iOS、Android上跨平台,再后来在Google的推动下做Video Call。最近主要是在做视频编码标准的工作。我在清华学习了10年,拿到博士,在美国普度又拿到第二个博士。

LiveVideoStack:看的出来你是相当的热爱这个行业,以后我再用FaceTime的时候,一定会想起你。

Zoe Liu:谢谢。

LiveVideoStack:在今年Google I/O以及NAB大会上,AV1一直都在受到大家的热捧,可以说是个很大的明星,能不能聊一下你观察到的整个的行业,还有用户大家对AV1是怎么样一个态度?是怎么样评价的,大家的反馈是怎么样的?

Zoe Liu:其实我们还是挺感谢大家对AV1的关注,第一个想传递的信息是,AV1是开放媒体联盟AOMedia,简称AOM协力推出的,AOM现在有37名会员了,AV1是整个AOM推出的一个新的视频编码标准,这是我们想明确传递的信息。确实谷歌是在主导,但AV1是全球的努力。现在中国已经有两家公司加入了AOM。第二,AV1推出以后,跟H.264、H.265不太一样的地方是什么?AV1第一是Open,开放,第二是Free,Free是在免版税,这方面是它最大的一个努力。第三,也是非常重要的一点,任何一个编码标准还是要看它的核心竞争力,也就是它的编码性能。最近很多的反馈在于到底AV1相比现在的编码标准好了多少,我们不好主观论断,只是说我们给出了一些数据,包括AOM联盟自己的测试数据,还包括Facebook最近在它Blog上登出的测试数据。另外,大家众所周知的就是MSU有个对整个业界编码器性能的评测,在今年它的评测报告中第一次加入了AV1,整个评测下来,AV1相比它的前一代开源标准VP9,在编码性能上提升了30%左右,相比H.265/HEVC,编码性能至少在20%以上的提升。其他人对AV1的反馈主要是想知道,到底我们能不能很快把AV1用起来。可以这么说,我们现在整个组都在全力以赴做AV1编解码器的优化。AOM是一个开源社区,它的Codebase大家可以随时随地的下载,做自己的评估。希望每个人或团队,如果愿意加入我们这个开源社区,随时欢迎你的贡献。

我们现在主要(精力)是在编码器和解码器的提速上面,拿编码器来讲,因为编码器是很复杂的,年初对标VP9,我们当时AV1的编码器的运行时间是VP9的一千多倍,慢很多,但是在我这次来之前,我们现在已经达到了VP9的不到60倍,速度已经提升很多了。我们下一步希望能够在年底之前,把它的速度提升到运行时间为VP9的10倍以内,这样主要是像Google的YouTube做这种点播的视频在线网站,可以很快的把它用起来,包括Netflix也提出只要AV1能够跑起来,他们也会在第一时间加以应用。国内像爱奇艺已经加入了AOM联盟。我们也希望,首先对点播场景能够尽快的把AV1用起来,之后当然希望用到像这种实时的视频通信场景中来。

LiveVideoStack:你前面提到了很多公司,有Facebook、Netflix,大家都还是非常关心AV1的,如果是在说AV1还没有能够达到大规模应用的这样的一个成熟度的背景下,VP9还是一个不错的选择吧?

Zoe Liu:这是一个很好的选择,前期VP9主要是Google一家主导,市面上大家提到更多的就是H.264和H.265。VP9相对H.264和H.265来讲,它是一个开放的,也是一个免版税的视频编码标准,我们希望VP9得到更广泛的应用。另外,我们想说的是AV1是从VPx系列衍生出来的,反过来讲,VP9可以看作是AV1的一个子集。所以,如果大家更多的支持VP9,实际上相当于是为下一步采用AV1做前期准备。

但是我们想说VP9相对于H.264而言,它在硬件的支持方面确实没有那么广泛。不过我们也了解到,国内的一些在线教育网站,包括像TutorABC,他们一直都是WebRTC、VP8和VP9的忠实用户。

总结一下,我们可以说VP9是一个比较不错的选择,第一它确实是免费的,没有专利的问题。第二,VP9是AV1的子集,对VP9的支持,会让你做好对将来支持AV1的准备。

LiveVideoStack:你前面提到了一些国内的公司,像TurorABC,爱奇艺,我们也知道前段时间,爱奇艺刚刚成为了AOM联盟中的第一家的本土公司,我相信还有很多国内一些本土公司也在观察是不是要加入这个联盟,不知道对于这些公司有什么建议?

Zoe Liu:从我们自己来讲,包括Google以及AOM联盟希望大家都能够考虑加入。所以像中国的两家公司,一家小公司微帧,以及爱奇艺这样的大公司加入进来,至少对我自己而言,因为我自己是中国人,有更多的国人参与进来,当然感到非常骄傲。另外,我们希望AV1是一种全球性的努力,首先没有专利问题,第二确实性能有很大的提高,所以希望大家都能够加入到这个开源社区里,对这个社区做贡献。同时希望看到更多的国内的公司参与进来,现在确实有很多公司在跟我们谈意向,主要看不同的公司如何跟自己的业务产品相结合。我们当然希望AV1有更好的发展前景。如果你看AOM联盟里的会员,他们是完整的一个生态系统,包括浏览器制作商,视频内容提供商,硬件厂商,尤其是硬件厂商的支持,我觉得是AV1的发展大势所趋。任何企业加入进来,首先对整个生态系统的发展是有好处的,另外我们也希望推动下一代编码标准继续向前发展。

LiveVideoStack:千万不要错过这个风口,大家赶快来吧。您在前面不只一次讲到我们这个版权的问题,那在开发新一代编解码器的时候大家一直关注这个专利陷井,这就像是一个雷区,走过去还是非常的不容易,是不是真的像你前面说到的这么困难?

Zoe Liu:一般来讲,如果提到专利问题,是需要由专业律师来做比较专业的解答的。那么下面单纯从我个人的理解来讲,因为AV1宣布自己是一个免专利费的标准,确实不是儿戏,这里面经过很多的认证,整个AV1内,我们开发了一百多个工具,每一个工具我们在专利方面都做了非常多的工作,来做专利的认证。另外,我也听到有些企业比较担忧,担心即使经过认证,即使现在通过,将来会不会有可能收回,这方面大家可以再去咨询专业律师,专利的这种认证一旦确认了是不太可能收回的。最后还想再说明一点,任何一个成员加入到开放媒体联盟里来,若拥有编码方面的专利,一旦加入AOM联盟,它原来在H.264,H.265等的专利费用照收不误。但成为AOM联盟会员的基本要求,是需要在AOM场景下放弃自己的专利。AOM现在37家会员。从这个角度讲大家应该放心,AV1面临的专利风险实际上是很小的。

LiveVideoStack:听到你这么说之后,我现在可以放心一点。那我们前面有聊到点播,那其实除了点播之外AV1还有哪些场景适合?

Zoe Liu:目前AV1的开源codebase,称为libaom,最适合的(场景)是点播视频,因为我们提到到目前为止AV1增加了很多的新的编码工具,造成它的复杂度大大提升,所以在点播视频里,主要是可以利用后台强大的Server资源,接受一定的延时,另外可以采用大规模的并行,来达到编码速度在一定程度上的保证。对于实时的视频来讲,像视频通话、像我们这种直播,libaom的应用确实需要等一段时间。如果对AV1里面很多工具熟知,很多朋友也做过相对于H.264标准的加速,随着手机等移动端硬件性能不断的提升,对编码有很多优化的可能。我想libaom从点播、到直播、再到实时的应用,大概一年半左右的时间吧。

LiveVideoStack:我们看到AV1在各种场景下面落地。

Zoe Liu:希望是这样,另外这里想提到的主要是硬件厂商对解码端的支持,因为现在可以看到AOM里面,像因特尔,英伟达,ARM等已经明确表示支持。很多非AOM成员,也明确表示支持AV1硬件解码。所以整个硬件生态伙伴的支持推动,都会对AV1的推广起到很大的促进作用。

LiveVideoStack:最后能不能聊一下Google中的多媒体团队信息,这是一个怎样的团队?我们还是非常好奇。

Zoe Liu:最近也有朋友问起来,我们这个团队是在Chrome Media下面,整个大组一共30人左右,除了做视频编码以外,还在做音频的编码,图像编码,以及图形编码。我们做视频编码最核心算法工程师不超过14人。对于AV1这一代新标准的制定,我们组在标准算法贡献上、在开源codebase libaom的代码贡献方面都在90%以上。我们不仅做标准,因为谷歌这边所有代码都需要自己写,没有另外的工程师帮助优化。当然现在有许多开源社区进来,在跟我们一起对libaom做贡献。

与此同时,我们还推进了和大学、实验室的合作,我们自己也会发表表文章,申请专利。基本上是这样。

我们组最开始的时候是在2009年,Google并购了一家名为On2的小公司,On2已经成立了20年,一直都是做开源的Codec,从VP3、VP4一直做到VP8。被Google收购以后,推出了VP8,包括我现在的主管在内,他们在编解码领域真的是耕耘20年了,现在跟他们在一起,感情挺深的。他们这20年来体现了非常专注的精神。被谷歌并购前作为一家小公司,做开源编码,不是主流,经过多次起起伏伏,直到有一天(被Google收购,并推出AV1)。当初很难想象他们有一天可以推出这么大的社区,推出一个主流的编码标准AV1,一步一步发展过来,我们组给我的影响是非常大的,主要是专注,对视频编码这一领域的执着。我希望自己也能把这种精神传承下去。

LiveVideoStack:希望20年后有更多的标准迭代,有更多的变革性技术。非常感谢您接受我们的采访。

0 人点赞