当下无论是用户、流量还是视频分辨率都在不断增长，相对于所需处理数据量较少且处理时间较充足的点播服务，对基础架构所处理数据量要求更高且对延时控制更苛刻的实时视频服务会为编解码基础服务器带来巨大挑战，对企业而言也意味着成本控制与盈利创收的压力会越来越大。本文来自于赛灵思DCG数据中心的Sean Gardner在LiveVideoStackCon2019北京站上的精彩分享。
文 / Sean Gardner
整理 / LiveVideoStack
大家好，我是赛灵思DCG数据中心负责Video业务的Sean Gardner，本次演讲的主要内容是赛灵思在中国发展过程中寻求新的业务探索与技术创新落地。
1. Xilinx应用领域与挑战
赛灵思在各个领域都有着广泛的应用，其中不乏许多创新，值得一提的是赛灵思在5G方面有着不错的探索与实践，特别是在基于云的应用和对实时性非常敏感的应用两个领域，其中最有代表性的分别是云游戏和对网络延迟非常敏感的视频会议系统（VSaaS）。
上图强调了实时视频、实时通信在所有市场里所占据的重要地位，并且特别提到客户的原创视频和原创内容在其中所占据的重要地位，客户的这种需求会造成在基础架构上存在挑战和机遇。
而无论对于哪个细分领域，业界目前普遍面临两大挑战：硬件成本和运营成本上的投入越来越高，这包括了运营的数据中心的硬件价格以及服务器价格都越来越昂贵。
2. 直播与点播行业现状与挑战
从市场调研结果可以发现，直播和点播两大应用在未来都会面临很大幅度的增长，其中市场预测直播业务对于CDN的需求将在2021年达到700亿美元，并有可能在2023年超过点播业务。
其中，从下图可以看到移动端视频直播将会占据越来越大的市场，而中国更将会成为移动端视频中最大的市场。
除了急速增长的中国市场，美国在直播和点播方面有两大典型应用：NETFLIX和Twitch。NETFLIX主要是文件类型的点播服务，实际应用场景中处理的文件流量要远远小于直播里的内容，并且点播服务可以有足够的时间来处理视频文件。Twitch主要提供游戏直播服务，在服务器方面，基础架构要处理更大量的流量视频，达到实时甚至毫秒级的处理，这对服务器提出的挑战更大，各方面所需要的成本也会更高。
上图的曲线主要给出了峰值带宽、峰值流量和平均流量上存在巨大差异，赛灵思面对这种差异会提供对服务器更有效的管理和解决方案。
上表中除了Bandwidth % of Revenue是根据一定的数据计算出来的以外，其它都是公有的、比较客观的数据，之前说到服务器和带宽成本变得非常昂贵，从这个表格中也可以看出，尤其是实时视频流量带来的成本为什么在急剧的上升。
带宽使用存在两大挑战：OPEX和CAPEX。以两个极端举例，Ninja同时有60万人观看的时候带宽非常高，相比之下Alfred只有4个观看者。这里提到的80/20法则是指20%在视频流占据了80%的网络流量，另外80%的视频流占据了20%的网络流量。
用Twitch公开的数据来表明80/20法则：13%的视频流占据了74%的网络流量
除了带宽成本的增加，所有基础设施的成本越来越高，下图中红色的曲线代表成本的增长，另外一条黄绿色的曲线代表的是ARPU，可以看到盈利变得平缓，这也带来了另一个挑战——如何做到盈利。
此外，之前提到用户和流量在增长的情况，下图则说明了在此期间视频的分辨率也在不断增长到8K甚至更高。与此同时，视频的编码器变得越来越复杂，编码标准有很多的工具码，从H.264到H.265，再到HEVC/VP9、AV1，编码工具因此也变得越来越复杂，这些都会对基础设施服务器带来巨大的挑战。
3. DCG视频软IP策略高VQ（视频质量）/低比特率策略
赛灵思现在有两条主要的业务，根据前面的总结，左边是在非常传统的FPGA基础上发展软件业务，右边是发展新的硬件业务。从上图可以看到左边占据了大量网络流量，观看人数特别多；而右边则占据了很多的视频流，比如安防视频的流量很大，但是观看的人数却没有多少。赛灵思会针对这两种不同的场景提供不同的解决方案：eSports和SafeCity是两个完全不同的视频场景，所以我们会根据它们的不同点给予两种完全不同的解决方案——一边是高质量，一边是高密度。
OPEX需要基于传统硬件开发软件方案，比如英特尔的解决方案。在基于传统硬件的软件方案中，需要在质量与速度之间二选一。右边的黄线若想有实时的视频速度必定会以视频质量作为牺牲。
与之相比，赛灵思在硬件的基础上又加入了Soft IP，质量可以跟比较好的视频编码器比较。与此同时，由于采取了底层的硬件方案，速度也要远远超出软件方案。
在相同的PSNR下进行Xilinx和x265比特率比较
相同质量下视频编码速率对比
以虎牙直播为例，虎牙直播每个季度的带宽成本增长66.8%，一个季度带宽成本是2500万美元。赛灵思可以在同样质量的情况下节省40%的码率，也就是40%的带宽，每季度2500万美元的带宽成本如果能够节省30%或者40%就意味着一年就可以在带宽方面节省2100万以上的成本。
为了达到用户带宽节省，赛灵思自己以及整个合作方的生态里提供了各个视频和图片转码的工具，包括不同的编码标准、编码格式，不同的容器格式。
Xilinx生态为带宽节省服务提供各种工具
值得一提的是，赛灵思还创造性的把FFmpeg集成在赛灵思的FPGA上，只要熟悉FFmpeg，就不需要对底层的FPGA有很高的理解程度。而前面提到的FFmpeg都是最标准的，并不是赛灵思自己的FFmpeg版本，所有的命令行都一样，区别只在其中有一个option。
4. 视频创新解决方案
4.1 Socionext将Xilinx FPGA用于下一代解决方案
Socionext在XILINX ALVEO卡上开发了一款质量非常高的H.264编码器，并对编码器做了包括主观和客观在内的测试。下图是测试结果，客观的质量评估里包括VMAF和PSNR，图中所有红线所显示的数据都是SocionextH.264 Encoder编码器性能，可以明显看到在各项数据中都明显优于x264 Enc. Very Slow setting。
Socionext H.264 Enc.与 x264 Enc. Very Slow setting对比
除了PSNR和VMAF等客观评价,FPGA H.264在主观评价上也有明显优势 ，从下图对比中可以看到赛灵思基于FPGA的H.264编码器有更丰富的细节, 在主观质量上有明显的的主观优势。
FPGA H.264 Enc 与 Nvidia T4 H.264 Enc 对比
4.2 V-Nova编码器编码效率
另外一款在赛灵思FPGA上的IP是V-Nova的编码器，目前V-Nova编码器的分辨率可以达到1080P，并且从编码效率来看，它对1080P的视频可以将码率压缩到950K，这在很多带宽环境都不太理想的国家或地区是一件令人兴奋的事情。
4.3 Xilinx在未来还有很大的上升空间
由于FPGA是可编程的，所以不管是在密度还是在视频质量方面都有很大的提升空间。需要特别注意的是，不论OPEX还是CAPEX，不论是高密度还是高质量，都是基于相同的FPGA加速框架，用户接口完全相同。
最后，赛灵思在自己和整个生态圈的合作方共同来打造应用不同场景的两个不同方案，同时推出硬件的解决方案以及在硬件上的软件系统。
