谷歌发布数据中心网络架构Aquila:自定义二层和RDMA,交换和网卡同一芯片!

2022-04-19 13:10:47 浏览数 (1)

今年的NSDI2022会议上,谷歌发布了其实验性的数据中心网络架构--Aquila,该架构支持谷歌提出的1RMA协议(SIGCOMM'20,解决RDMA用于多租户场景存在的隔离和安全问题),并在网络架构和芯片设计方面有诸多可学习之处,在此将文章翻译为中文,以飨读者。

摘要:数据中心的负载已经从十年前数据集中、耦合松散的工作负载转化为耦合紧密的工作负载,其中,超低延迟通信对于网络上的资源分解和启用新兴的编程模型至关重要。

我们介绍Aquila,Aquila是一种实验性的数据中心网络架构,将超低延迟作为核心设计目标,同时也支持传统的数据中心业务。Aquila使用了一种新的二层基于单元的协议、GNet、一个集成交换机和一个定制的ASIC,这个ASIC是和GNet一同设计,并具有低延迟的远程存储访问(RMA)。我们证明了:Aquila可以实现低于40us的IP流量往返时间(RTT),和跨越数百台主机甚至在面向后台吞吐量的IP流量中的低于10us的远程内存访问完成时间。这意味着运行在一个Aquila原型网络上的产品质量键值存储在尾部延迟方面减少了5倍以上。

01 简介

在过去的几十年中,数据中心网络已经取得了巨大的发展:在控制平台有了根本性的进步[18,27,44,49],非阻塞拓扑结构的商品硅的出现[4,23,36,49],网络管理与验证[7,8,29,41],以及可用的网络设计技术[21]。总的来说,目前业界普遍采用具有成本效益、易于管理和可扩展的网络设计和部署。数以万计的服务器集群规模[49]的充足网络带宽可以用于型超大规模服务器及其承载的服务。

然而,所有这些进步都是在假设基于TCP的拥塞控制和以太网第2层协议的情况下实现的。经过几十年的部署和增量演进,这个2-4层协议栈已经非常稳固和有弹性。然而在数据中心出现了僵局[12],分布式计算的进步越来越受到性能可预测性的缺乏和多用户数据中心网络隔离的限制。在网络架构设计者的目标以及应用程序的预期和编程方面,两到三个数量级的性能差异[15]并不少见,这严重限制了基于集群的更高级别分布式系统的创新速度。

当考虑到超算/HPC集群[17]和新兴的机器学习pods[22,28]的状态时,这种担忧被放大了,单个应用程序得益于低延迟的RDMA[16,51]、集体操作[46]和紧密集成的计算和通信能力。这些更专业的设置与生产数据中心环境的主要区别包括:

0 人点赞