本文来自ICIP2020,FaceBook的工程师们为我们呈现了这个媒体行业的研讨会,内容包括4个部分,最后是小组讨论环节。
Facebook的视频业务及其面临的问题:
- 提升视频的BD-rate
- 降低计算需求或能量足迹
- 减少内存足迹
- 高稳定性,可靠性以及近乎无限的伸缩能力
- 应对百万级别的视频规模
Instagram如何优化大规模的视频质量——Haixia Shi:
- ABR palyback需要对视频处理
- 大规模的挑战:巨量上载,受限服务器容量,UGC
- 优化目标:提升压缩效率,减少计算花费,确保高可靠性
- 优化策略:
- 选择最佳编码参数集
- 内容相关的编码优化
- 使用模糊度来选择参数
- 启发式搜索策略
- 全局优先级
使用视觉质量指标来优化视频分发——Cosmin Stejerean
- 优化的关键选项:分辨率,码率,质量
- 质量vs码率:理论与实际的曲线
- 烦恼与接受程度
- 定义MOS分数
硬件加速的节能转码——Gaurang Chaudhari, Xing C. Chenm Deepa Palamadai Sundar, Visala Vaduganathan
- FB的视频转码工作流,能效是关键
- 跨编码器优化与HDR编码优化
- 跨编码器数据共享
- 10bit编码优化
- 提出Quality Metrics架构
- 质量指标计算复杂度高,软件计算的时间开销大
- 硬件计算架构,DMA控制器,计算核心
- 支持PSNR,SSIM,MS-SSIM,VIF,无参考模糊度量
- 上下采样支持,块级别分数支持,近似计算
- 结果与结论
- 定制硬件对于大规模转码可极大提升能效
- QM架构可以继续增强,以支持色度分量和VMAF分数
- 利用跨编码器的决策可以进一步降低硬件能耗