前面我们提到过采用图5这种机柜排和横向支管平行的方式下，存在横向支管故障导致整排机柜过热的风险，而机房内横向支管故障或检修的可能性是很大的，又该如何设计保证机房内的供冷持续性呢？下面重点介绍两种IT机柜和空调管路的布局类型。

图12是数据中心600的平面示意图，可以看到整个数据中心内的IT机柜以及制冷末端，还有整个机房地板下的管路布置。整个机房内可以安装几千，甚至几万台服务器，由608a到608f的多个子冷却模块单元来散热。以图12为例，机房602内已经建设好了4纵列的带置顶空调机柜列616。每纵机柜616列由两列IT机柜618以及通道顶部的制冷单元619构成。每个单独的IT机柜基本子单元则由三联柜构成，每个机柜高度约为6到8英尺高，而机柜的深度仅约为1.5英尺深（不到0.5米）。制冷盘管及风机单元则安装在两列机柜中间热通道的顶部，微模块及空调置顶方案详细可参考《谷歌微模块数据中心介绍》。

 
图12 机房内的IT机柜和空调管路的垂直模式布局

冷却模块608a到608f都连接到主管路604和606上，而多个横向支管620也连结到主管路604和606上，并且在机房内横向支管620上会建设纵向服务器机架。数据中心投入使用后，整个机房大环境是冷通道，冷风从三联柜服务器机架前面进入，被加热后从服务器尾部排出进入热通道，然后被热通道顶部的空调盘管制冷后再排回到整个机房大环境，重新开始新的循环。机柜顶部的制冷盘管619内的冷冻水则从横向支管620上获得，比如每3个柜子对应一个619盘管，每个机柜置顶619盘管都有垂直软管从620横向支管获得冷冻水，620支管内的冷冻水被IT设备加热后重新回到冷却系统608a-f上被制冷或者散热。

此外，各种各样的阀门，比如主管路阀门614用于隔离机房602和其他机房模块之间的冷冻水，避免其他机房建设过程中管路内有水影响施工。或者阀门614在数据中心开始建设过程阶段，可以作为额外备用冷机的冷冻水供水口，如备用冷机608a给房间602做临时性供冷，使之快速投入使用。而横向支管620上也有一些隔离阀，比如阀门630用于管路末端的关闭或者临时性封堵用于后续管路延伸（可能也会用于管路成环，左侧也可以进冷冻水）。横向支管620上还有很多支路水接头631，比如631用于软管连接到某个置顶空调619上，这些隔离阀630和水接头631允许服务器机柜纵列甚至服务器机柜单元逐个建设，不断增加。

 
图13机房内的IT机柜和空调管路的垂水平模式布局

图12中，冷却模块608b到608f对应着数据中心602内的特定横向支管，而横向支管620通常和纵向的机柜列616相垂直。这种布局下，每个横向支管可以覆盖到多个机柜纵列内的特定部分机柜，如果某个横向支管需要停水或者检修维护，则该动作不会影响到整个机柜列，因为这些机柜纵列内都是共享冷通道和共享热通道，而机柜纵列内受到影响的少量机柜其发热量则可由横向支管620旁边的其他横向支管以及整个机房大的冷环境来吸收掉，因此某个冷却子系统或者某个横向支管维护检修，基本不受影响机房运行。

图13是数据中心650内的另外一种管路布置图，如前面介绍的图12垂直方案类似，658a到658d冷却模块给机房652来供冷，横向支管670连结到主管路654和656上，这种新的模式底下，服务器机柜排669则横向布置平行于横向支管670，简称为平行方案。

横向支管670上的分支软管680和682却连接到不同的机柜排顶部的冷却盘管，其他的横向支管上的分支软管也连接到多个机柜排顶部盘管。这种布局下每排机柜的置顶空调都可以从全部的横向支管分别来获得冷量，即便某个横向支管故障或者需要停水检修，也是不会影响到整个机柜排的。因为每个机柜排内，故障的那个空调盘管需要承担的散热，可以由共享冷通道和热通道的旁边其他空调盘管来承担，整个机房大环境是个大冷池，不会有过热的风险。

图14则是谷歌数据中心内置顶空调机房建设过程中的照片，机房内部一排排支撑架上是其封闭热通道顶部的置顶空调，架空地板下走水，而机柜上方是母线排，并通过软管连接好冷冻水，与供电系统和冷冻水系统测试验证完毕之后等待整机柜交付。提供一个个的三联柜泊位，机柜置于热通道前锁固，即插即用，快速投产。

 
图14 谷歌数据中心内置顶空调机房照片

结语

本文重点介绍了谷歌创新的数据中心空调系统建设方法以及具体实现，即采用模块化建设思路，在建设初期采用可移动式风冷冷水机组或者混合式冷却塔等无需审批，并以租赁设备模式快速投入生产，然后边生产边滚动开发，直至全部建成租赁设备退出的模式，达到大大缩短建设周期的目的。文章详细介绍了其建设和测试验证流程等，为保障数据中心空调系统的可靠性，还分析了机房内机柜和管路的两种布局，除此之外，文章中也提到了类似的模块化供电系统设计等思路。总而言之，谷歌的数据中心总体建设思路就是简单灵活，虽然国情有所不同，但其创新型的数据中心空调系统设计仍非常值得国内同行学习借鉴。