前面介绍了switch通信数据中心的总体设计思路，下面再介绍其数据中心内核心的IT微模块，根据图6所示的IT微模块示意及相关专利介绍称，其每个微模块由18个机柜构成，两侧不同供电路有两个列头柜和一个综合配线柜。switch通信微模块热通道封闭，机柜顶部采用了模块化的封闭通道组件和标准化的强弱电桥架。根据微模块机柜数及前面机柜平均功率推测，每个微模块总功率平均约为160-180KW。无架空地板以及微模块框架设计，可以支持普通机柜或者整机柜上架。较宽的单机柜功率允许范围可灵活满足用户的各种需求。
图6 SuperNAP 数据中心的微模块
switch通信在微模块的结构件方面也煞费苦心，即便是机柜顶部封闭通道的建设，也采用了工厂预制的模块化标准组件400、转角组件450、标识为500的线槽支撑件以及标识为600的线缆托架实现强弱电桥架在现场快速安装。通过这些标准化组件的设计，实现结构件的产品化和标准化，满足了现场快速建设的标准化需求。
图7 SuperNAP 数据中心的标准化热通道组件及桥架
SuperNAP8数据中心的供电方面，switch通信选择了Symmetra MW II不间断电源系统（ UPS ）所提供的高效和高冗余设计，APC总计为SuperNAP提供了84兆伏安的功率，从而确保了SuperNAP运行万无一失。此外，7000多台NetShelter SX机架和数千个APC机架式配电单元（ PDU）还使SuperNAP即便在全负荷运转的情况下也可以实现整个数据中心的高效管理。
另外，APC还协助SuperNAP设计建设了三个冗余电源配电系统，该系统配备了三个包含颜色编码设备的网格。颜色编码系统确保每个人都对整个数据中心的电力分配状况一目了然。红色、蓝色和灰色代表了三个相互独立的冗余配电来源。从变压器输出到各个机架都涂有与各个冗余配电系统相匹配的标示颜色。这样，客户可以选择多种电力来源为自己的设备供电，运营人员能随时知晓设备的正常运行情况。
图8 SuperNAP 数据中心内不同颜色UPS
图9是供电线路图示意，每个IT微模块来自两个不同的PDU供电，三套PDU总共给12个微模块来供电，实现UPS的DELTA型2N供电架构，这样在保证了2N供电可靠性的基础上减少了UPS的安装容量，降低设备投资却提升了UPS的带载率和效率。
图9 SuperNAP数据中心的供电示意图
图10是switch通信数据中心内部的专用配电走廊，参观通道和运维通道隔离开来，来自不同UPS的不同PDU采用了不同的对应颜色。在庞大的数据中心建筑内部，这个参观走廊蔚然大观，在SuperNAP 8建筑中间长达1100英尺过道（约335米长）的供电走廊里，总共就装了260套的500KW PDU 配电柜。
图10 SuperNAP数据中心的参观走廊及配电PDU
在散热方面，与常见的传统数据中心中心不同，SuperNAP没有采用架高地板和精密空调冷却系统来冷却设备，而是选择了室外模块化AHU和室内热通道吊顶及风管送风的设计，这能够提供每平方英尺多达1500瓦的冷却量，是行业标准的3倍之多。图11是室内侧switch通信专利的热通道封闭方案，及两侧送风风管的示意图。
图11 SuperNAP数据中心的散热风管及热吊顶设计
switch通信采用的模块化AHU、冷风送风管、热通道封闭及吊顶等这些技术来进行散热，在冷却效能方面有着突出的表现，能够有效降低后期运营成本。如图12所示，整个大吊顶是共享热通道，热量分别被每个AHU模块导出到室外。而经过室外AHU模块降温后的冷空气则通过室内风管送到每个机柜上方，这也使运维人员工作时更加称心快意。
图12 SuperNAP数据中心内的送回风气流组织图
其中，在热吊顶内，采用了名为SwitchSHIELD的双屋顶系统设计，可以保护数据中心抵御200英里每小时的风速。该双屋顶系统的两个屋顶设计间隔约达9英尺的距离，并连接到数据中心的混凝土支撑和钢制外壳，并且不包含屋顶的渗透部分。这使得Switch公司可以任意更换其中的一层屋顶，而不会对数据中心内正在运行的服务器造成任何影响。“当规定操作温度为21摄氏度时，钢框架就能够保持在21摄氏度很长一段时间。”其设计者说。“它们就像热管散热器一样提供冷却。甚至比它们要求的温度更低，并能够保持该温度。这样，该钢框架才能保持环境更凉爽。”做了空气层来保温和隔热，隔绝了外界环境影响。
图13 SuperNAP数据中心的双层热吊顶及送回风示意
Switch用了几年时间攻研与常规思路相反的数据中心设计。多数大型数据中心采用高架地板。在高架地板下，气泵将冷空气从地板上的孔洞吹出，进入服务器和存储系统。这类架构常常导致计算系统的顶部如火烈山。因此，不同的公司脑洞大开，从液冷系统、heat socks到搜索热点来避免热空气集中的数据中心机器人，花样百出却捉襟见肘。
图14 SuperNAP数据中心专利的t-scif室内侧送回风技术
而在图14中，switch通信采用了其专利的t-scif室内侧送回风技术，模块化AHU就近和IT微模块等匹配对接，变频VFD大风扇高效散热，克服了传统数据中心的不足，有着优异的散热效率。同样的，在室外侧switch通信则定制了其模块化AHU散热系统，采用的6种运行模式能满足各种季节和不同负载的散热需求。
图15所示的模块化AHU下部的冷凝器等设计成可以通过卡车等运输到数据中心现场。且冷凝器和其顶部的热排风模块可以是独立的，可通过接口现场简单拼装方式合并在一起。
从看到的相关图片信息，根据机房类型以及机柜功率等，目前switch公司采用了颗粒度为600KW和1000KW散热能力的两种AHU模块，以满足不同的应用场景。
图15 SuperNAP数据中心的模块化AHU散热模块
图16和图17AHU内部的详细结构示意，下面对典型的几种不同制冷模式做简要说明。热空气由AHU顶部安装散热模块900的VFD变频风扇直排到室外，而AHU下部的制冷模块800则含图17的进风口810和进风阀812（具备掉电下自关闭功能），以及热回风口920，混风之后经过824的MERV7筛式过滤器或者MERV16袋式过滤器过滤，再经过840的R134A冷媒盘管（冷量来自842的压缩机）或者水冷盘管（冷量来自室外散热冷却塔），甚至是860的湿膜蒸发散热，这些降温后的冷空气都通过870的AHU大风扇送到机房内散热。
图16 SuperNAP数据中心的模块化AHU俯视图
图17 SuperNAP数据中心的模块化AHU侧视图
不同的季节下，AHU可以自动根据室外温度以及负载情况等开启不同的制冷工作模式。AHU及冷却塔等冷却装置被安置在室外，具有不寻常的灵活性，支持六种不同的冷却方式。监控管理系统的软件能够根据外部温度和其它条件择优选择冷却方法。SuperNAP 8还具备更加有特色装置，比如在AHU内部加装了小飞轮UPS，保障了AHU模块供电供冷的持续性，也反映了Switch公司将业务扩展到新市场的雄心壮志。最后，双层屋顶的设计能够保护机房环境在严寒时免受冰雪堆积之灾，并且还变废为宝，利用数据中心的热通道排出的废气来融化积雪，甚至用来给办公区供暖。
图18 SuperNAP数据中心的模块化AHU整列以及冷却塔
在SuperNAP 8数据中心另一个闪光点是其Rotofly系统，它采用了2000磅的旋转飞轮为每台AHU提供可持续的运行时间，飞轮设计省去UPS的容量，并具备耐受冲击的特点。在停电的情况下，该功能保证了冷却装置能够继续向数据大厅里输送空气，实现不中断制冷。
从图18我们还可以看到9台AHU配置了4台冷却塔，没有蓄冷罐设计，每个AHU模块具备高达1000KW的制冷能力，对于这种超大规模的数据中心这个容量的颗粒度设计非常经济及高效，颗粒度太小需采购更多AHU模块数量导致成本增加，而颗粒度太大，冗余备份AHU模块的成本又太高且安全性不够高。冷却塔作为AHU的预冷更为节能。（未完待续）
版权声明：本文为腾讯数据中心原创，版权均属“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用。
本文部分图片来自互联网，如果涉及到版权问题，请联系serenadeyan@tencent.com。
