网络设备硬核技术内幕 交换机篇 10 倚天屠龙(上)

2022-07-27 13:02:19 浏览数 (2)

武林至尊,宝刀屠龙,倚天不出,谁与争锋?

交换ASIC就是这倚天剑与屠龙刀。想知道倚天剑和屠龙刀里面的秘密吗?请大家继续关注这个专题。

在上一阶段专题最后,我们提到了光模块是连接在交换机的Serdes上的。请大家注意到一个细节:

CFP2 100G光模块是由10个10G拼成的,而QSFP28光模块是由4个25G拼成的。那么,为什么不同交换机的100G以太网接口实现不一样呢?

这就涉及到交换芯片了。

来看一个CFP2 100G交换机接口的实例:

这是Arista 7500E交换机的DCS-7500E-6C2-LC 线卡结构图。

这块接口卡上有6个CFP2 100G 接口,每个接口在交换机上通过10组10G的Serdes实现,连接到CFP2 光模块。

由于包处理ASIC为Broadcom StrataDNX系列的

Arad (BCM88660),它只具有200Gbps/300Mpps的处理能力,单块线卡需要使用3片Arad 实现6个100G接口。各包处理ASIC之间的交换通过交换网板上的FE1600交换网实现。

Broadcom StrataDNX系列的新一代Jericho芯片,由于支持25G Serdes,大大提升了接口密度。

下图是CISCO N9500交换机上X9636C-R线卡的示意图。

每块线卡上有6颗Jericho芯片,每颗芯片有24条25G Serdes到前面板的6个100G QSFP28接口。Jericho芯片之间通过交换网板FE3600互通。

基于10G Serdes的Arad 最多单线卡可以支持12个100G接口,而到了25G Serdes时代,单线卡就可以实现36个甚至48个100G接口了。

对于盒式交换机也如此。让我们看一个栗子:

这是Alpha Networks SNX-61A0-486T的结构框图(局部)。Alpha Networks SNX-61A0-486T

这款交换机采用了Broadcom StrataXGS系列的Maverick (BCM56760),它支持72组万兆Serdes,其中48个万兆口为RJ45万兆电口。为了让XFI Serdes转换为万兆电口,每4个电口采用了一颗Phy芯片。

另外24个万兆Serdes每4个一组,作为40G接口使用。

盒式交换机的Serdes速率,在Tomahawk时代开始,Trident3(TD3)时代进入主流。

Broadcom的StrataXGS系列中,TD3于2017年下半年正式发布,2018年上半年基于TD3的交换机开始商用。

HPE FlexFabric 5945就是一款基于TD3的交换机。

FlexFabric 5945的32口100G款型的实现框图如下:

而48口25G 8口100G款型的实现如下:

可以看出,由于TD3(BCM56870)系列支持25G Serdes,因此可以支持25G以太网,以及用4个25G Serdes拼成一个100G以太网QSFP28接口。

我们会发现,HPE基于Trident2 的FlexFabric 5940 系列,有两个款型分别是48口万兆光 6口100G QSFP28,48口万兆电 6口100G QSFP28。而大家知道的是,QSFP28内部是4个25G。怎么样可以让Trident2 支持25G Serdes呢?

答案在这里——

如图,我们可以在TD2 交换芯片外面开外挂——

在光模块的专题中,我们提到了一种芯片叫gearbox。BCM82792芯片就是gearbox中的一种。

它可以将24路10G Serdes转换为8路25G,也就是2个100G。

BCM56868支持128组10G Serdes。拿出48组作为48个万兆电或者万兆光。

另外拿出72组Serdes,每24组连到一片BCM82792,可以转换为2个QSFP28,这样实现了48个万兆 6个100G。

老司(交换)机们都知道,对于40G以太网接口,可以通过一条命令

using tengigabits 来把组成40G以太网接口的4个10G分开,通过一分四MPO-LC光纤用来连接4个10G以太网接口。同样地,对于QSFP28形式的100G接口也可以将4个25G一分四。

但是,通过gearbox转换得到的4个25G,是不能做一分四的,只能工作在100G下。这就是FlexFabric 5940的100G口不支持一分四,而FlexFabric 5945可以支持的原因。

本期没有隐藏错误,但是留了一个小问题:

FlexFabric 5940有一种 32口 QSFP 40G的款型,也是由支持128个10G的TD2 芯片实现的。它最多只有24个40G口可以一分四,为什么另外八个不支持呢?

上期问题答案:

CFP2光模块单模实现需要将10对serdes信号通过phy复用到1对光纤上,而多模是使用10个LED和10个光电管,通过10对光纤传输100G以太网的。

0 人点赞