曾宪龙:上午好,我是腾讯的曾宪龙,下面我分享的题目叫做T-Block数据中心建设经验分享,也是想借这样一个机会,向各位数据中心建设领域的专家讨教经验。简要介绍一下腾讯T-Block的基本情况,腾讯为什么要做T-Block,以及我们想要的T-Block是什么样子的。分享一下最近半年通过T-Block实践下来的感悟。
说到T-Block,我们自己认为是一个非常顺理成章的事情,十多年前我们提到数据中心可能就是这样的房间,里面有机柜,装了服务器,有空调,有地板,如果有一百台服务器这样的房间满足了我们要求,五年前如果我们有10万台服务器是不是建一千个房间,这显然是不现实,我们大兴土木。当我们今天身边人谈论互联网 的时候,我们发现互联网数据中心还是在用相对传统的方式建大楼,这个时候似乎有点讽刺,这个时候我们行业里面兴起了微模块,整机柜,相对灵活的数据中心的一个形式内容。对于微模块,BAT做的比较领先,中兴、华为这些公司更加推动了这个行业的普及。以上三种数据中心实际上也是腾讯最近十多年的一个演进的历程。
到现在我们发现,行业仍然在以一个高速的增长,每年大概有30、40%的增速向前发展。五年之后数据中心是什么样子,就是我们正在思考的问题。通过对已有经验的总结,我们认为未来互联网数据中心形态类似于T-Block这种,当然也可能有其他的名字。我们当时内部取名T-Block,主要是两层含义,T是tencent腾讯,和Block像积木一样简单。我们刚才开始使用微模块,行业里面不太清楚微模块是什么,可是到现在据说一年微模块的出货量达到一两千套,那么微模块是怎么实现的,简单来说就是将过去传统的机柜,封闭通道,电池,空调,在现场快速拼装,形成一个标准的统一产品,交互给客户,可以看到微模块已经实现了部分的数据中心的产品化的工作,可是同时我们也看到,微模块还只是数据中心里面一小部分,还有大量基础设施,仍然以传统的方式进行施工作业,这个时候我们希望通过T-Block解决微模块以外的工作。我们希望通过T-Block能够将类似冷源、变压器、柴发、高低压配电同时做成类似于微模块产品化的形式,从而实现整个数据中心的产品化交互。那么我们来看一下,我们如何建设一个T-Block数据中心。
首先,还是需要一个平整的场地,这个场地里面我们会做简易的钢架结构里面,建筑里面放各个功能模块,在模块IT一块放电源模块,有电池,有高压直流系统,在另一端放制冷模块,当然还需要办公模块提供运维的空间,将这些功能组件建筑里面,最终形成我们一个完整的T-Block数据中心。这是我们T-Block数据中心的建设基本思路。换一个角度来,T-Block希望把数据中心的建设、基础设施以及IT设施弱化他们之间的边界,当然了,包括物理硬件层面,也包括软件层面。归根结底,数据中心给我们IT设备提供一个稳定持续的运行环境,可是目前我们看到,它的建筑,基础设施,IT设备上这三种泾渭分明,这种情况下实现我们数据中心跟随IT需求弹性地建设非常困难,所以我们T-Block希望能够去弱化他们之间的边界,将建筑基础设施和IT设备重新整合成一个产品,从而实现我们整个数据中心跟随着IT需求进行弹性快速地交互。这是我们T-Block的一个核心的思想。
由于我们把数据中心打包成一个产品,所以我们可以体现定制开发对应的监控系统来实现我们IT设备以及我们的动环数据的一个集中展示和分享。我们会把我们的各个T-Block的功能模块搭配标准管控单元,从而实现监控系统的预制化,结合可视化的界面,减少人力运维成本,提高系统的稳定性。以上就是我们T-Block的一些想法和构思,为了验证它的可行性,我们在今年4月份的时候,在贵阳建设了我们T-Block的试点项目,我们内部称之为T-Block西部实验室。通过这个西部实验室验证T-Block的建设方式和它的技术性能。西部实验室是由八个模块组成的,验证不同模块拼装实现的方式。
通过西部实验室积累了大量T-Block的数据中心的运行数据,比如说我们PUE的情况,其实以北京为例,我们有信心通过采用T-Block全年的PUE控制在1.15以内,这主要是基于下面几点技术。首先制冷系统采取间接蒸发冷却,我们配电系统继续沿用腾讯目前比较成熟的市电 HVDC,还通过标准模块化的供配电,短距离的热量传输路径。以上可以实现能效良好的性能。为了验证T-Block性能,今年上半年请到了工信部的专家对我们的T-Block进行测试,当然测试PUE等于1.0955,这是T-Block PUE的情况。刚才提到间接蒸发冷却,着重分享一下。
不同的送风温度我们T-Block PUE 随时外环境温度的变化曲线。可以看到,在室外温度20度-28摄氏度之间的时候,我们PUE是在1.09到1.125之间的。然后下面这张图是不同的送风温度,我们CRF也就是制冷系统随着外界温度的变化情况,可以看到室外温度在20度-28度摄氏度之间,大概0.04至0.08之间,这是一个比较好的数据。我们进一步来看一下,实际上一个数据中心主要是由PUE和电价来确定的,不同地区有不同的电价。我们可以看一下PUE,目前主要是取决于这个CRF,PRF也就是供电系数大概在0.05-0.1之间,优化空间不是特别大。CRF主要是取决于这个选址,不同地区气侯条件以及冷却系统。我们可以看到,目前影响OPEX主要就是冷却技术的设计。通过大量实践,我们自己认为间接蒸发冷却系统会是未来IDC的方向。
基于下面几点原因:
1,可以减少换热次数。
2,避免空气质量问题的担忧。
3,与服务器高温趋势结合。
4,适合大规模应用。
我们认为,间接蒸发冷却会更加贴合服务器高温化这样一个趋势。目前IT设计的进风温度最高是27度,未来有可能30度甚至35度,这个时候目前数据中心制冷系统的架构将会出现很大的一个变化。但是我们可以看到间接蒸发冷却是很好,可以挖掘这一部分的节能潜力的。
分享一个比较有意思的内容,就是我们的气象数据的采集。这是我们采集到今年1月份到6月份贵阳的气象数据,小于12摄氏度占到67%,对应PUE小于等于1.125。同时,我们还将我们的实测值和清华大学的典型气象数据的数据集以及NASA数据摇杆进行比对,我们认为清华大学这种数据非常准确,误差很小。未来在其它地方做选址,做设计的时候可以重点参考一下。
我们T-Block光伏运营数据实验室还采用了光伏和高压直流并网的供电技术。我们光伏主要有三种运营模式,一种模式就是日照条件必须好的时候,我们这个光伏直接给到我们的机柜供电,如果我们的日照条件不是很理想,这个时候我们的光伏和我们的高压直流会实现一个无缝的切换,只有光伏和高压直流同时检修或者故障的时候我们交流侧才会起来,给我们的深水供电。
第二个问题,传统集装箱的可以拆装的模块结构,我们需要主框架需要整体运输,另外它的四周的委办可以快速拆装方便大规模的集群部署。可以露天放治可以满足防水和隔热的要求。
第三个问题,关于间接蒸发冷却技术大家有相关的案例或者是经验。风风换热这个相关的技术,如果大家了解的话非常欢迎和我们联系和沟通。
版权声明:本文为腾讯数据中心原创,欢迎转载,转载需注明出处并保持原文(包括标题、导语、正文、图片、数据以及文尾的二维码等全部内容)完整。版权均属“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用。