AI存储网络接口的速度之争

AI存储网络接口的速度之争

AI存储网络接口分为外部接口和内部接口。内部接口包括常见的PCIe，英伟达的NVLink，AMD 的Infinity Fabric和Intel的Xe Link等，目前内部接口还在铜缆互联的阶段，以后我们可以专门用文章讲一讲内部接口的光互联发展趋势。外部接口包括以太网、Infiniband、Fiber Channel、SAS，这些网络早已使用光模块进行互联，下面我们一起来以光模块的视角来探讨一下不同网络的应用。这里需要说明的是，由于光模块是透传数据，不在意网络类型。网络技术的最小单位帧则是以0和1的排列组合构成，光模块只根据主机的信号传输0和1。所以客户在购买光模块时，只需关注的是：工作速率，封装形式和传输距离。本文也是从这三个方面来讨论。为了便于记忆，本文提及的速率均取整数。

1.以太网

以太网的协议我们之前整理过，这里不在赘述。目前以太网最高速率800G和1.6T的协议还在制定中。根据大成鹏的客户的实际使用情况，目前AI算力使用是400G和200G为主，AI存储则以200G为主。400G封装形式为OSFP、QSFP-DD和QSFP112，200G封装形式为QSFP-DD和QSFP56，根据主机接口封装类型决定。传输距离：多模光纤100米使用多模光模块，单模光纤500m和2km使用单模光模块，机柜内部3米使用无源铜缆DAC，服务器/存储主机和TOR交换机互联使用有源光缆AOC在30米内。表1为以太网网络的速率类型发展。

表 1

2.infiniband

目前IB网络最高速率800G。根据大成鹏的客户的实际使用情况，目前AI算力使用是800G和400G为主，AI存储则以400G和200G为主。800G和400G的封装形式IB均指定为OSFP，200G的封装形式IB指定为QSFP56。传输距离：多模光纤100米使用多模光模块，单模光纤500m和2km使用单模光模块，机柜内部3米使用无源铜缆DAC，服务器/存储主机和TOR交换机使用有源光缆AOC在30米内。表2为IB网络的速率类型发展。

表 2

3.Fiber Channel

按照之前的规划，第8代128GFC应该会在2021年间完成标准制定，但实际上推出时间一延再延，直到2024年的今天，仍未实际问世。目前最高速率为2018年制定完成的第7代64GFC，但是应用进展依旧十分缓慢。根据大成鹏的客户反馈情况，目前AI存储不会使用FC网络，国内设备主流还停留在16GFC和32GFC，速率跟不上算力需求。16GFC和32GFC使用的封装为SFP28。传输距离：主要为多模光纤100米使用多模光模块。表3为FC网络的速率类型发展。

表 3

4.SAS

SAS可以作为存储设备内部接口，也可以作为外部接口。目前SAS接口最新规格是2017年制订的SAS-4，也就是24G SAS。依照原本的路线图，下一步的发展应该是带宽加倍的SAS-5，即48G SAS。但负责制定规格的SCSI贸易协会（SCSI Trade Association，STA），在2023年底，提出异于原本路线图的规画，放弃48G SAS这条提高带宽的路线，改为沿用既有的24G SAS物理层，搭配强化上层协议可靠性、安全性与效率的24G SAS，但是按照光模块的传输原理，SAS-4和SAS-3的数据传输并无差异。SAS作为外部接口互联的封装为Mini SAS，并且主要采用的是有源光缆AOC和无源铜缆DAC的产品形态。表4为SAS网络的速率类型发展。

表 4

综合以上可以直观的看到，在AI存储领域，FC和SAS网络接口已经远远的赶不上以太网和IB。目前仍旧是以太网和IB的直接竞争，现阶段在IB优秀的RDMA能力下，已经取得技术的领先优势。针对IB的崛起，以太网制定了RoCE协议，把InfiniBand的RDMA传输架构移植到以太网络中，使得RoCE兼具RDMA的低延迟与以太网的低成本特色。但是其RDMA在拥堵控制、负载平衡等方面，仍有一系列不足。所以去年成立的超以太网联盟需要制定新的协议取代现有RoCE协议，透过新的传输层来改善雍塞管理，并减少延迟等，超以太网联盟计划于今年三季度推出新的标准。