在IT硬件上实现视频的按行处理

2021-02-08 21:05:50 浏览数 (2)

本文VSF Fall Meeting 2020的演讲,演讲者是来自 Open Broadcast System 的 Kieran Kunhya ,主要内容为描述了使用 COTS(商用现货)IT服务器和相关硬件来实时处理ST 2110和其他高质量视频信号,以及与这些工作流程相关的技术挑战。

Kunhya 首先描述了需求:在COVID-19 形势下,互操作性要求在更低的成本下达到更低的延迟。体育、新闻等媒体制作需要在保持社交距离前提下(即远程)实现对媒体的编辑

当前IT工业界方法有一些局限性:IT工业界通常的处理框架(像 DirectShow,GStreamer,FFmpeg)都是以视频帧为单位处理的,等待一帧数据到来,解码处理,再编码输出,固有延迟较高。对于一些需要低级延迟的交互应用,如云游戏,我们期待更低的延迟。

Kunhya 强调,当我们讨论广播工业(而不是流媒体)的延迟的时候,我们在讨论的是亚秒级的延迟。

按行处理未压缩的IP视频有充足的时间做像素级处理,但是当前还没有广泛使用,很多组件需要自己完成。Kunhya 提到,我们在这里不能使用带有垃圾回收机制的编程语言,那会带来额外的5毫秒延迟。在解码端,按行处理的解码需要注意要避免在 slice 边界处使用 deblock,也要做高码率流的延迟/通量取舍,可能需要缓存一些 slice 来达到实时。

帧内编码如 VC-2/JPEG-XS 大约有 32-128行的延迟,因为无法做帧级码控,会有 100-200Mbps 的码率,因此当前在家用环境和一部分生产环境无法使用

当前的demo已经可以达到在合适的码率下达到5帧的延迟,可以用作 ST 2110->MPEGTS->ST 2110 的远程生产。

0 人点赞