周小鹏:努力让FPGA支持更多开源库和框架

2019-07-01 16:41:07 浏览数 (1)

本文为LiveVideoStack对联捷科技研发总监周小鹏的邮件采访整理而成,探讨了FPGA与CPU和ASIC的优势与不足。对于用户而言,FPGA在云端应用兼顾了速度和灵活性。未来,联捷科技考虑对更多图片和视频Codec支持。在LiveVideoStackCon2019上海音视频技术大会上,周小鹏将详细介绍FPGA异构计算在多媒体处理中的应用。

文 / 周小鹏

整理 / LiveVideoStack

LiveVideoStack:周小鹏你好,简单介绍下自己的工作经历,以及在联捷科技负责的工作内容和感兴趣的技术方向。

周小鹏:从事FPGA和系统开发有10年时间,大概有7年时间是从事多媒体方面的应用和开发。在联捷科技主要负责FPGA加速的整个后台开发,感兴趣的方向包括多媒体处理和FPGA异构计算。

LiveVideoStack:能否简单介绍下联捷科技,其核心技术和服务的业务场景是?

周小鹏:联捷科技的核心技术是基于FPGA的多媒体加速处理,主要的业务场景是图像转码、图像处理、视频转码。

LiveVideoStack:我们知道相对于ASIC而言,FPGA拥有更好的灵活性,可以针对客户需求进行优化。能否从一线的FPGA技术专家的角度,介绍下FPGA的优势与不足?

周小鹏:FPGA的开发相对于ASIC来讲开发难度要低一些,另外,现在FPGA的开发也有一些高层建模的技术出现,来提升开发效率。FPGA的优势主要是可以实现深度流水和混合数据指令流,来实现计算加速,另外FPGA还有丰富的接口,也能给应用带来系统级的整合好处。不足的地方是,FPGA的开发效率还是比CPU低,另外应用生态不够健全。

LiveVideoStack:FPGA对于主流的图像、视频处理框架或库(比如FFmpeg,OpenCV等)支持的如何?

周小鹏:FPGA本身没有支持这些主流框架和库,这就是我们现在做的工作。

LiveVideoStack:对于一名视频工程师而言,基于FPGA的设备做应用开发(比如使用FFmpeg转码),和在x86平台上实现有什么区别?开发难度是否更高?

周小鹏:对于应用工程师而言,没有区别。我们会把FPGA的加速细节屏蔽,我们会把FPGA加速功能,在软件层做成FFmpeg的plugin。

LiveVideoStack:您如何看FPGA在图像、视频处理领域的未来?一些ASIC实现了更好的图像处理画质,由于ASIC天然的低功耗、高效率等优势,FPGA的优势体现在哪里?

周小鹏:图像、视频处理的应用场景其实很多,ASIC和FPGA应该都会有各自使用场景。比如,在端侧,低功耗、高效率是必须的,ASIC会是更好的选择。而在云端,除了性能要求高,更看重灵活性,这点FPGA比ASIC更容易达到。

LiveVideoStack:Codec呈现出群雄争霸的局面,联捷的产品支持了哪些Codec?未来考虑或计划支持哪些新的Codec?

周小鹏:当前图像支持了JPEG、WebP、HEIF之间的互转,还有Lepton等用于无损存储的Codec;视频支持H.264、H.265。未来也会考虑支持AV1,AVIF,AVS2等。

LiveVideoStack:最后,能否剧透下你在LiveVideoStackCon2019上海音视频技术大会上的分享?

周小鹏:主要是分享我们在产品开发和推广中的一些问题和解决方法。

0 人点赞