上一主题下一主题
«12»Pages: 1/2     Go
主题 : 谷歌数据中心为什么建得又快又好?
千山同一月 万户尽皆春 千江有水千江月 万里无云万里天
级别: 总版主

UID: 998
精华: 0
发帖: 605059
威望: 529688 点
无痕币: 0 WHB
贡献值: 0 点
在线时间: 62616(时)
注册时间: 2008-12-25
最后登录: 2024-05-20

0 谷歌数据中心为什么建得又快又好?

谷歌通常只需要不到1年时间来完成数据中心的建设。因此除了技术领先之外,我们还经常感叹于国外互联网公司快速的数据中心设计建设交付能力。相比之下,国内大规模数据中心从规划设计到建成投产,整个周期往往长达2到3年。
谷歌在过去10年中一直在建设自己的数据中心。搜索巨头的数据中心非常高效,利用了可再生能源,并尽可能保护环境。目前Google依旧大举投资数据中心,最近三个月投资了16亿美金,不得不说科技真的是第一生产力。
其实,很多年来,谷歌都有其独特的建造标准,比如说当地是否有良好的劳动力资源,又或者有没有一个强大的电网接入能力,这可能是一个很关键的资格审核标准。最近谷歌还增加了绿色问题考量的比重,比如说谷歌会考虑当地有没有提供可再生的能源供应的能力。
谷歌运营副总裁Joe Kava表示,在谷歌的理念中,长期效益不仅仅是指谷歌如何使用电力来供应服务器,如何更快速的设计和建造数据中心同样也非常重要。他指出,位于乔治亚州的数据中心历时16个月完工,而不是耗费2到3年的时间。谷歌已经建立了一整套设计和建造数据中心的标准流程。谷歌通过模块化、低成本的设计来缩短数据中心的交付周期。
6年前,谷歌在亚特兰大建设一处数据中心耗费了16个月时间。目前,在大楼建好之后,谷歌通常只需要不到1年时间来完成数据中心的建设。因此除了技术领先之外,我们还经常感叹于国外互联网公司快速的数据中心设计建设交付能力。相比之下,国内大规模数据中心从规划设计到建成投产,整个周期往往长达2到3年。对于快速变化的互联网行业,很多业务可能在不到一年内就爆发,或者说等机房建好之后就早已消亡,因此时间就是生命,效率就是金钱,两三年的数据中心建设时间是不能接受的,因此非常有必要研究一下国外这些领先公司的数据中心建设方法,以满足业务多变和快速需求的能力。本文谨以谷歌数据中心的特点以及建设方法做些最粗浅的分析,纯属抛砖引玉,目的在于让更多同行来研究进步。

 一、建筑布局篇
图1是谷歌比利时数据中心的全景图,这是一个较为典型的谷歌特色数据中心,从空中俯视看到的庞大体量和氤氲升腾的水汽,绝对会让人联想到现代化的超级信息处理工厂,或者说全力巡航的超级信息航母,虽然用航母来比喻不太恰当。但正是这些散布在全球的超级数据中心,通过谷歌全球光纤和Spanner调度系统连接在一起成为超级航母战斗群。据统计目前发送给和发送自谷歌服务器的流量如今占到了全美互联网总流量的四分之一,全球月独立访问用户数超过10亿,成为全球互联网行业的超级巨擘。
从前面的照片上看,谷歌的数据中心建筑结构非常简单,主体机房为宽而矮的单层或者双层建筑结构,船体的中后两舱为两个长宽形主体机房模块;船头为机房配套的功能区域,如安保办公、设备拆包、接入弱电等;船体左侧为模块化变配电柴发区域,船体右侧是模块化空调散热储水区域,水电分区,两翼作为巡洋舰和护卫舰等保障航空母舰的稳定可靠运行。
由于建筑建构非常简单,因此机楼主体建筑的建设时间也可以大大缩短,特别是采用了框架式大开间结构,以及整体墙板拼接模式,机房框架的建设时间非常短,只有不到两个月的时间即可完成。大开间结构和墙板拼接模式不但建设进度快,而且建筑材料可回收利用更为绿色环保,此外也便于大型设备搬迁进出机房区域等,更为适合大型数据中心建设模式。我们一起来回顾一下2007年始建的Google Iowa州数据中心的一些施工图片,2007年6月,Google在 Iowa 州 Council Bluffs 的数据中心启动建设,经过平整土地和简易桩基搭建起了如图2(a)的数据中心支撑框架,再经过图2(b)中的工厂预制整体墙板吊装拼接,以及其他道路防护等工程,整体机房建筑经过7个周多的施工,即可完工。

机房主体建设的同时或者稍后,同步开展的还有机房两翼的机电支撑设备安装,前面我们提到了谷歌采用模块化的供电和散热模块,因此其机电工程建设也可以采用模块化分期按需建设。供电方面,通过室外型的变压器和配电柜以及集装箱柴油发电机,按模块分期建设。散热方面,采用双层钢结构框架,如图3(a)空调系统建设过程和图3(b)竣工阶段的照片可以看出,钢结构上层用于安装冷却塔,下层用于分布式储水罐,同样可采用模块化分期按需建设。由于谷歌机房多选址于气候凉爽电费便宜的偏远地区,土地也较为便宜,因此建筑容积率不是很大问题,但因国情不同,国内市区的多层建筑结构机房则难以采用此模式。
千山同一月 万户尽皆春 千江有水千江月 万里无云万里天
级别: 总版主

UID: 998
精华: 0
发帖: 605059
威望: 529688 点
无痕币: 0 WHB
贡献值: 0 点
在线时间: 62616(时)
注册时间: 2008-12-25
最后登录: 2024-05-20


介绍完了机房外景,谷歌Council Bluffs数据中心的内景则如图4所示,
一万多平方米的偌大机房空间内密布着无数的IT机柜和服务器,以及顶部的供配电母线槽和架空地板下的冷冻水供水管,服务器散热则由机柜热通道顶部的置顶空调盘管完成。
由于该数据中心只是单层建筑结构,整个机房大空间作为冷通道,除了部分支撑柱和少量功能间之外,基本没有其他物理分隔。
采用水消防技术没有传统机房的气体分区限制,市电直供和母线槽技术也消除了传统机房的专用电力和电池室需求,
采用空调置顶散热技术则不用传统机房两侧的精密空调房,还有变配电和柴发外置以及冷冻站专门区域布置,使得机房空间内变得非常简洁。
这些具体的技术实现,先按下不表,后面会再详细展开。

由于机房建筑结构非常简单,且大型机电设备大多外置,因此谷歌数据中心内的空间利用率很高,
可以把很大部分的地板空间用于摆放IT机柜,因此每机柜容积比很低,大大提升了机房内的空间利用率。
图5是国内外部分数据中心的机房空间利用效率对比数据,可以看到谷歌数据中心内的空间利用方面有很大的优势。
千山同一月 万户尽皆春 千江有水千江月 万里无云万里天
级别: 总版主

UID: 998
精华: 0
发帖: 605059
威望: 529688 点
无痕币: 0 WHB
贡献值: 0 点
在线时间: 62616(时)
注册时间: 2008-12-25
最后登录: 2024-05-20

二、供电部分
图6是谷歌某个数据中心的供电侧照片,由于谷歌的数据中心体量通常都很大,比如达到30-40M以上的用电,
因此往往机房周边专门区域建设有专用的变电站给庞大的机房供电。

这里由于篇幅有限,中压部分就不再展开,但其总体思路是采用中压配电传输到机房边上,靠近负载就近经变压器降压成低压,再通过低压母线排传输到机房内。
从图6我们可以看到模块化的户外型变压器及低压配电柜环绕机房周边,采用集装箱型的柴油发电机组作为变配电的供电投切备份,柴发风管直立到屋顶上排风。
经过变压器变压后的市电通过母线槽或者线缆直连到机房内的机柜上方,直接给自带分布式UPS的服务器供电。
前面图4我们已经介绍过了谷歌的数据中心内部,母线槽是架设在机柜的顶部的,由前面图6介绍的室外变压器降压后直接通过母线槽的方式架设在每排机柜顶部,再用机柜顶部的配线盒连接到机柜PDU。
由于谷歌定制的服务器上自带有分布式小UPS,因此谷歌的数据中心内部不再有UPS室和电池室等,也没有列头柜等二次配电环节,每个服务器直接市电直供,每个机柜也直接从机柜顶部的母线槽上安装的配线盒取电。
如图7(a)的这种供电架构非常简单清爽,大大减少了线缆的采购和工程施工,而且非常灵活便于扩充机柜和带电检修维护,运营起来也非常简单,
还可以根据机柜的功率和用电可靠性情况灵活调整配线盒来满足不同设备的供电需求,机房的空间利用率也非常高。
如图7(b)所示谷歌的带小UPS的市电直供服务器大家都应该非常了解了,这里不再详述只简要介绍,
其原理是在服务器内安装底部的12V黑色铅酸电池用于市电停电保护,市电正常时候,由于没有外部UPS,市电直接给服务器供电,达到99.9%的供电效率;
当市电停电后,直接挂接在12V输出上的电池短时放电,直至室外的柴发启动恢复服务器电源带载。
电池参与放电的时间基本不到一两分钟,因此电池的容量很小,大约只有3.2Ah,备电时间远远小于传统数据中心15到30分钟的电池备电需求,因此对柴发的启动要求很高。
我们前面知道谷歌的柴发是模块化直接安装在变压器旁边的,很有可能是低压柴发,其启动很快。
而且每台柴发对应一个变压器,没有复杂的柴发并机以及启动时序等问题,因此正常情况下柴发启动时间可以控制在几十秒以内,一两分钟的电池备电时间基本上是够了,但这对运维水平要求就非常高了。
当然谷歌的软件架构和业务备份方面也足够强壮,甚至部分设备停电也不会影响到业务正常运行,因此只有强大的技术实力才可以采用这种供电架构。

前面详细分析了谷歌数据中心的供电架构,那么从建设的角度来看,由于数据中心外部采用了工厂预制模块化的变配电和集装箱柴发单元,灵活配置按需模块化建设;
而数据中心内部,通过架设好机柜顶部吊装的母线槽,后面再根据机柜的部署进度按需安装机柜配线盒,还可热插拔即插即用,
没有复杂的线缆施工过程并大大减少线缆及配电施工质量问题,把传统数据中心的机电工程安装,变成了简单的工厂预制产品拼接,大大缩减了项目建设时间。
千山同一月 万户尽皆春 千江有水千江月 万里无云万里天
级别: 总版主

UID: 998
精华: 0
发帖: 605059
威望: 529688 点
无痕币: 0 WHB
贡献值: 0 点
在线时间: 62616(时)
注册时间: 2008-12-25
最后登录: 2024-05-20

  三、机房内机柜建设模式
谷歌数据中心内部的建设也是模块化按需堆叠的模式来建设。
图12是谷歌北卡数据中心的内部实景,可以看到顶部是一排排的母线排,以及模块化热插拔配线柜;
中间是模块化的置顶空调,以及空调顶部的线缆桥架托盘;
下面则是封闭的热通道框架,以及模块化的三联柜安装泊位。
具体每个变压器覆盖的母线排数量可根据每排机柜总功率密度有所调整,
且由于每排机柜内的供电和散热自成一体,排与排之间解耦,
因此机房内不可以以机柜排为颗粒度不断建设扩容。

图13(a)是每排机柜的截面图,从这个图可以看到谷歌热通道及机柜的布局。
热通道框架内为空调盘管及散热风扇,热通道框架两侧三联柜机柜直接锁固在空调框架上,整个构成6个IT机柜的微模块基本单元,并以此微模块颗粒度不断复制。
IT机柜及空调都从顶部的母线排取电,整个机房大环境为冷通道,热通道内热气流自动上升,被置顶空调降温后自然回流到机柜前面再次被服务器吸入,整个气流路径很短,且冷热隔离,散热效率非常高。
图13(b)是数据中心内部新建设微模块置顶空调建设示意,新建一排机柜时,可通过隔离帘子725隔离待建设部分和已投产部分,避免建设粉尘对已投产机房的影响。
可通过叉车将置顶空调及支撑框架以模块化方式在现场快速组装,这些串联的空调单元组成一个封闭热通道,两侧形成两排机柜泊位等待IT设备到场安装。

我们知道谷歌数据中心的机柜颗粒度是三联柜整机柜,如图14(a)所示,顶部还有IT机柜配线盒从供电母线排取电。
这些三联柜机柜根据业务的不同配置,在服务器工厂以整机柜的形式安装好服务器及网络,并连接好内部供电及网络线缆,运送到机房现场内后以图14(b)的三联柜方式由现场建设人员推动安装到机柜泊位上,连接好供电和光纤线缆,即插即用,快速投产。

图15则是谷歌数据中心内部置顶空调机房建设过程中的局部照片,机房内部一排排支撑架上是其封闭热通道顶部的置顶空调,架空地板下走水,
而机柜上方是母线排,并通过软管连接好冷冻水,与供电系统和冷冻水系统测试验证完毕之后等待整机柜交付。
通过前面的这些机柜排之间解耦,空调置顶微模块、模块化配电盒、三联柜等标准化建设单元,工厂预制,现场快速拼装,达到数据中心内部的快速建设目的。
千山同一月 万户尽皆春 千江有水千江月 万里无云万里天
级别: 总版主

UID: 998
精华: 0
发帖: 605059
威望: 529688 点
无痕币: 0 WHB
贡献值: 0 点
在线时间: 62616(时)
注册时间: 2008-12-25
最后登录: 2024-05-20

四、集装箱模式
为了进一步提高交付效率,在一些应用场合谷歌还可能采用集装箱数据中心的模式建设。
集装箱数据中心具有多个益处。
例如,可以以较大颗粒度的集装箱基本单元来建设,实现大型数据中心的快速安装。
数据中心的较多部分可以在工厂预先建设并且到现场快速部署;
具体地,集装箱和配套的基础设施可以被并行地建构,而不是传统模式下的顺次开展。
数据中心的关键部分可以是可移动的,并且可以容易地从一个地点运送到另一个地点。  

如图16中标识为810的这些可移动计算单元,可以被灵活搬运并快速投入使用,
这些各种功能单元的模块可以采用集装箱这种快速搬运的标准化方式运送到机房现场890,并被快速连接安装起来。
一部分可能会从较远的地方轮船或者汽车运过来,也有部分如补水车以及管道等可以从当地租用,
数据中心场地可以是刚平整好的荒地、或者是水泥和沥青的平台和停车场等,也可以是货物仓储等建筑。
模块化计算存储单元820/825被运输到现场,可移动的柴油发电机组840也被安装在现场,
通过供电线缆870连接到820/825的IT模块上。
同样的,制冷散热单元850(内含隔离换热器,也可能包括制冷机组或者混合式冷却塔等)也通过管路872和873连接到820/825的IT模块上,用于给IT模块来散热。
而制冷单元850则通过供水管874从供水单元830获得水补给。
经过一段时间的运行后冷却塔的冷却水会有沙子沉淀以及产生化合物沉积甚至军团菌等微生物污染等,
因此部分冷却水从876水管排放到污水回收单元835槽罐车内,再运送到污水处理厂处理。
此外,快速部署数据中心还包括光纤878以及网络进出口860,也可以是偏远地区的无线发射接收装置,还有监控管理单元等,这里不再一一罗列。
甚至整个快速部署数据中心可以建设在污水处理厂旁边,直接从污水处理厂处理后的清洁水来给数据中心散热,然后排放的污水直接再次处理等。
同样的,快速部署数据中心也可以直接建设在供电或者发电站旁边,不再设置供电模块等。
千山同一月 万户尽皆春 千江有水千江月 万里无云万里天
级别: 总版主

UID: 998
精华: 0
发帖: 605059
威望: 529688 点
无痕币: 0 WHB
贡献值: 0 点
在线时间: 62616(时)
注册时间: 2008-12-25
最后登录: 2024-05-20

五、总结
模块化建设思路是大规模数据中心的一个重要特点,可以大大提升数据中心的建设进度。
图17是传统数据中心和模块化数据中心(非谷歌数据中心)的项目进度表比较,可以看到,通过模块化的建设思路,大大节约了规划设计时间,
将原来工程化数据中心的串行建设模式,变成并行建设的标准化建设模式,大大节约了项目时间,并且有很好的可复制性。  

本文简单梳理了谷歌的数据中心建设模型,如图17简要示意,从园区建筑的单层简单框架式大开间结构,两翼供电、制冷模块化快速安装,到建筑内模块化机房分期建设,再到机房模块内的微模块级复制堆叠,以及微模块内即插即用部署的三联柜整机柜最小颗粒度。
这种逐级模块化思路,大大简化了规划设计和机电建设,将传统工程化的数据中心建设模式大部分转变成产品化堆叠方式,大大节约了传统模式下串行开展的时间。
同时标准化模块可复制性强,可以快速复制到新的建设项目中,避免了传统工程化数据中心各种独特的设计。
通过这些解构可以看到google把数据中心进一步拆分和简化,如同把大型DC变成了一个个单细胞无性繁殖的生物,不断复制堆叠组合扩张,这比我们目前相对高等级工程化的哺乳动物繁殖模式,无疑会更有效的适应生态环境变化。
当然,国外的环境、生态、政策等不同,
谷歌数据中心的这些优秀建设方法很多并不能直接适用于国内,但其模块化理念和工业化/产品化思路非常值得国内学习。
做个真正的自己
级别: 九滴秋露

UID: 25831
精华: 0
发帖: 60214
威望: 64781 点
无痕币: 19 WHB
贡献值: 0 点
在线时间: 3525(时)
注册时间: 2008-05-01
最后登录: 2023-09-01

就看看这些了
级别: 六行秋雁
UID: 18605
精华: 0
发帖: 1231
威望: 22612 点
无痕币: 4047 WHB
贡献值: 0 点
在线时间: 453(时)
注册时间: 2008-03-21
最后登录: 2024-04-12

我国却把它赶走了。
级别: 十方秋水

UID: 26730
精华: 0
发帖: 64722
威望: 148036 点
无痕币: 183 WHB
贡献值: 0 点
在线时间: 11530(时)
注册时间: 2008-05-03
最后登录: 2018-05-16

国内内幕交易严重
级别: 六行秋雁
UID: 4160
精华: 0
发帖: 1901
威望: 25000 点
无痕币: 5939 WHB
贡献值: 0 点
在线时间: 527(时)
注册时间: 2007-12-12
最后登录: 2019-10-01

强大的谷歌,国内是不可能这样建成的
上一主题下一主题
«12»Pages: 1/2     Go
Total 0.048429(s) query 4, Time now is:05-20 03:12, Gzip enabled 粤ICP备07514325号-1
Powered by PHPWind v7.3.2 Certificate Code © 2003-13 秋无痕论坛