武林至尊,宝刀屠龙,倚天不出,谁与争锋?
交换ASIC就是这倚天剑与屠龙刀。想知道倚天剑和屠龙刀里面的秘密吗?请大家继续关注这个专题。
在上一阶段专题最后,我们提到了光模块是连接在交换机的Serdes上的。请大家注意到一个细节:
CFP2 100G光模块是由10个10G拼成的,而QSFP28光模块是由4个25G拼成的。那么,为什么不同交换机的100G以太网接口实现不一样呢?
这就涉及到交换芯片了。
来看一个CFP2 100G交换机接口的实例:
这是Arista 7500E交换机的DCS-7500E-6C2-LC 线卡结构图。
这块接口卡上有6个CFP2 100G 接口,每个接口在交换机上通过10组10G的Serdes实现,连接到CFP2 光模块。
由于包处理ASIC为Broadcom StrataDNX系列的
Arad (BCM88660),它只具有200Gbps/300Mpps的处理能力,单块线卡需要使用3片Arad 实现6个100G接口。各包处理ASIC之间的交换通过交换网板上的FE1600交换网实现。
Broadcom StrataDNX系列的新一代Jericho芯片,由于支持25G Serdes,大大提升了接口密度。
下图是CISCO N9500交换机上X9636C-R线卡的示意图。
每块线卡上有6颗Jericho芯片,每颗芯片有24条25G Serdes到前面板的6个100G QSFP28接口。Jericho芯片之间通过交换网板FE3600互通。
基于10G Serdes的Arad 最多单线卡可以支持12个100G接口,而到了25G Serdes时代,单线卡就可以实现36个甚至48个100G接口了。
对于盒式交换机也如此。让我们看一个栗子:
这是Alpha Networks SNX-61A0-486T的结构框图(局部)。Alpha Networks SNX-61A0-486T
这款交换机采用了Broadcom StrataXGS系列的Maverick (BCM56760),它支持72组万兆Serdes,其中48个万兆口为RJ45万兆电口。为了让XFI Serdes转换为万兆电口,每4个电口采用了一颗Phy芯片。
另外24个万兆Serdes每4个一组,作为40G接口使用。
盒式交换机的Serdes速率,在Tomahawk时代开始,Trident3(TD3)时代进入主流。
Broadcom的StrataXGS系列中,TD3于2017年下半年正式发布,2018年上半年基于TD3的交换机开始商用。
HPE FlexFabric 5945就是一款基于TD3的交换机。
FlexFabric 5945的32口100G款型的实现框图如下:
而48口25G 8口100G款型的实现如下:
可以看出,由于TD3(BCM56870)系列支持25G Serdes,因此可以支持25G以太网,以及用4个25G Serdes拼成一个100G以太网QSFP28接口。
我们会发现,HPE基于Trident2 的FlexFabric 5940 系列,有两个款型分别是48口万兆光 6口100G QSFP28,48口万兆电 6口100G QSFP28。而大家知道的是,QSFP28内部是4个25G。怎么样可以让Trident2 支持25G Serdes呢?
答案在这里——
如图,我们可以在TD2 交换芯片外面开外挂——
在光模块的专题中,我们提到了一种芯片叫gearbox。BCM82792芯片就是gearbox中的一种。
它可以将24路10G Serdes转换为8路25G,也就是2个100G。
BCM56868支持128组10G Serdes。拿出48组作为48个万兆电或者万兆光。
另外拿出72组Serdes,每24组连到一片BCM82792,可以转换为2个QSFP28,这样实现了48个万兆 6个100G。
老司(交换)机们都知道,对于40G以太网接口,可以通过一条命令
using tengigabits 来把组成40G以太网接口的4个10G分开,通过一分四MPO-LC光纤用来连接4个10G以太网接口。同样地,对于QSFP28形式的100G接口也可以将4个25G一分四。
但是,通过gearbox转换得到的4个25G,是不能做一分四的,只能工作在100G下。这就是FlexFabric 5940的100G口不支持一分四,而FlexFabric 5945可以支持的原因。
本期没有隐藏错误,但是留了一个小问题:
FlexFabric 5940有一种 32口 QSFP 40G的款型,也是由支持128个10G的TD2 芯片实现的。它最多只有24个40G口可以一分四,为什么另外八个不支持呢?
上期问题答案:
CFP2光模块单模实现需要将10对serdes信号通过phy复用到1对光纤上,而多模是使用10个LED和10个光电管,通过10对光纤传输100G以太网的。