国内数据中心制冷系统设计与发展
数据中心概要
与传统建筑空间相比，数据中心散热密度大，单位面积散热量可达传统办公区域的40倍以上，且越来越呈现集中化、大型化的趋势；同时，设备的安全性需求提高了对内部空调温湿度和洁净度的要求，数据中心热环境特点需要数据中心设计成全封闭结构，依靠制冷系统的全年运行来达到控温控湿的目的，这使得制冷系统能耗成为数据中心能耗比例不合理的一个重要因素。
数据中心暖通系统分析
目前我国数据中心制冷系统主要分为以下几种：水冷、风冷、间接蒸发与液冷形式。
常见水冷系统形式为：水冷冷水机组+板换+末端精密空调+冷却塔，机房热量通过精密空调换热经冷冻水传递到板换/冷机，冷却水将热量带到冷却塔传到到室外。该系统最大特点为系统成熟，是目前数据中心最为常用的冷却系统，数据中心居高不下的高能耗使用户愈发关注节能问题，因此数据中心冷冻水温度也逐步可提高到18/24度，随着冷水机组及冷塔、板换材质工艺和换热效率的提升，目前水冷系统的年平均PUE部分地区可低于1.3；冷水系统最大制约因素是对水资源的消耗较为严重，机械制冷时水蒸发量很大，同时A级机房常规设计考虑12小时储水量，需相应配套水处理设备。
风冷系统形式主要为以下两种：1.风冷冷水机组+末端精密空调。2.直膨式精密空调+室外机。如上所述，当数据中心建设制约于水资源的影响时，通常会选择风冷形式，风冷冷水机组对占地面积有一定要求，大规模数据中心其实并不适用此种方式，一是此种方案成本较高，二是目前数据中心单机柜IT功率普遍都达到了5kw、8kw左右，高密机柜甚至超过20kw，机组的制冷量要求多，为了增加设备摆放空间而扩大建筑面积并不适用与数据中心建设，此外大规模放置于建筑外围会造成用地浪费，因此可以发现，国内大规模数据中心基本不采用风冷冷水机组方案。
对于直膨式精密来说，在间接蒸发设备成熟化部署前一直是替代水冷系统的最佳选择，尤其对于一些用户无法接受水进入机房，但此种制冷系统高能耗一直是各方关注的问题，PUE甚至可达2.0以上，随着技术的发展，氟泵空调替代了传统直膨精密空调，从系统结构上，通过增加一个节能模块，延长了自由冷却使用时长，缓解了直膨精密空调PUE过高的问题。该系统受管路长度限制，目前国内外风冷直膨精密空调冷媒管路由长度在65-75米之间，超过此长度将会影响设备的制冷效果
间接蒸发冷却机组从原理上讲也是属于风冷的一种形式，是国内近两年较为关注的制冷系统之一，不少大规模数据中心园区也使用了间接蒸发机组，其制冷原理如图所示：
图1 间接蒸发机组换热原理
间接蒸发冷却机组是将室外空气新风和房间空气经过换热器直接换热，较传统水冷系统减少了换热环节，换热效率高，间接蒸发冷却空调机组三种运行模式：
（1）“干工况”模式:数据机房内空气与室外空气在机组换热芯体内进行热交换，利用室外空气低干球温度，直接冷却数据中心热回风。
（2）“湿工况”模式:当室外干球温度升高，不能直接冷却机房内空气时，在换热芯体上喷水，利用蒸发冷却降温原理，通过换热芯体外部水分的蒸发，吸收热量，冷却数据中心热回风。
（3）“DX工况”模式:数据中心热回风在经过淋水换热芯体换热后，仍不能满足服务器设备进风温度要求时，需要开启机械补充制冷，运行压缩机模块，保证服务器设备进风温度。
间接蒸发机组机组尺寸较大，以定兴地区选型250kw冷量为例，设备尺寸可达6500mm(l)x3000mm(w)x5000mm(h)，且设备送回风口需通至机房内，因此需要在外墙侧开风口，并做相应封堵，增加电动阀门，对施工质量要求较高。相比于水冷系统，此系统更加节水，上述规格间接蒸发冷却机组耗水量仅为0.8m3/h，远远小于冷水系统耗水量，更加利于在缺水地区推广。
图2间接蒸发冷却机组
近年部分厂家推出了“冰川”相变冷却系统，该系统可理解为风冷系统的一种形式，本系统融合了闭式冷却塔、多联机和氟泵精密空调的特点，高度模块化，管路简单，末端形式灵活多变，可搭配热管、列间空调、风墙和精密空调，就精密空调而言，常规风冷直膨精密空调机组制冷量最大到110kw左右，而“冰川”系统由于外置了压缩机，室内机冷量可达150kw。该系统还采用了磁悬浮压缩机，进一步减少了能耗，提高能效比。
图3 “冰川”系统
“冰川”冷却机组共有三种运行模式：
（1） “自由冷却”湿球温度低于一定值时，压缩机完全关闭，由液泵模块提供压力进行制冷剂循环，冷塔内部降温，实现自由冷却。
（2） “机械制冷”当室外干球温度升高，不能将冷媒介质温度降至适宜温度时，开启压缩机，保证室内机出风温度
（3） “半自由冷却”当湿球温度大于一定值时，只通过冷塔不能降冷媒完全降温，此时开启喷淋模式，通过蒸发冷却冷媒温度。
同样，该系统采取闭式冷却塔结构，有效减少了水分的损失，不失为节水方案的推荐系统，笔者就“冰川”系统和间接蒸发进行参数分析，关键参数见下表；
表1 关键参数分析
“冰川” | 间接蒸发 |
地区：定兴（极端湿球温度29.9℃） | |
制冷量：250kw；送回风：23℃/36℃ | |
耗水量：0.49m3/h | 耗水量：0.8m3/h |
耗电：67kw（含室内机） | 耗电：73.5kw |
4400*3800*4000 | 6500*3000*5000 |
每种机组参数均考虑三家设备供应商规格，选型地点均为河北某地，当地极端湿球温度29.9℃，数据机房送回风温度统一设定为送风温度23±2℃，回风温度36±2℃，服务器进风温度满足GB50174中18℃~27℃度要求，从表中数据可得，冰川系统在耗水量方面比间接蒸发机组低近39%，节水效果有明显提升，从产品本身分析，冰川系统冷塔内部换热面积要大于间接蒸发机组，且冰川系统内部循环为冷媒，运行温度较高，喷淋降温效果明显，因此有较大节水提升，对目前数据中心建设有一定参考意义，尤其部分地方在限制PUE同时限制WUE，上海地区明确规定WUE应低于1.4，因此间接蒸发和冰川冷却系统在上海地区可不受水资源因素制约。
液冷技术是使用流动液体将计算机内部元器件产生的热量传递到计算机外，以保证计算机工作在安全温度范围内的一种冷却方法，液体的比热远远大于空气，有利于提高传热效率，降低传热耗能，但也有其弊端，初期成本高，系统复杂，有泄露风险，维护成本高，安全性尚未完全验证，技术标准空缺等，所以液冷系统目前还未在国内数据中心领域大规模应用。
液冷主要有三种形式：浸没式、冷板和背板。
浸没式：通过把设备浸泡在绝缘冷媒中，器件和冷媒直接热交换完成散热。利用冷媒自身温差对流或增加动力强化对流。如果使用相变冷媒，冷媒在受热后气化，在机柜顶部凝结再流回机柜。
直接液冷优点：散热能力强、覆盖面大、低噪音、能效高、设备无防尘防腐问题
直接液冷缺点：卧式机柜空间利用率低、可维护性差（取出设备需清理）、仅能用于中小型设备、存在相似相溶风险、部分器件不能接触冷媒（如光模块、机械硬盘、线圈电感）、冷媒消耗大成本高（相变冷媒）
图4 浸没式液冷示意图
冷板式液冷：利用工作流体作为中间热量传输的媒介，将服务器产生的热量由热区传递到远处再进行冷却。工作液体与被冷却对象分离，工作液体不与电子器件直接接触，而是通过液冷板等高效热传导部件将被冷却对象的热量传递到冷媒中。
间接液冷优点：散热能力强、能效高、低噪音、空间利用率高、热能可回收
间接液冷缺点：设计复杂难度大、技术标准化不足且有盲点、设备成本高、寿命只有5-7年、存在凝露/泄露/腐蚀风险、商用时间短安全性可靠性未充分验证
图5 冷板式液冷示意图
背板液冷：利用工作流体作为中间热量传输的媒介，将服务器产生的热量由热区传递到远处再进行冷却。工作液体与被冷却对象分离，工作液体不与电子器件直接接触，而是通过服务器风扇将热量传递到冷却介质中。
背板液冷优点：散热能力强、能效高、低噪音、可拆卸。
背板液冷缺点：设备成本高、存在凝露/泄露/腐蚀风险、单台背板制冷量较小（10kw左右）
图6 背板式液冷示意图
3．总结
综上，随着国家对节能的要求越来越严格及人们环保意识的提高，数据中心评绿色节能等级愈发常规化，尤其暖通方面高能耗一直是关注重点，通过对国内数据中心使用制冷系统的分析，读者可以对不同制冷方式系统特点、能耗有个直观了解。
空气侧自然冷却分为直接式空气侧自然冷却和间接式空气侧自然冷却，其中间接式占地面积和投资较大，自然冷却时间有限，目前更多采用直接式空气侧自然冷却。水侧自然冷却是大中型数据中心最为普遍的自然冷却形式，并且方便在原有的普通冷水机组的基础上改造。虽然其节能效果不如空气侧自然冷却，但不会影响室内环境，是数据中心节能的有效手段。液冷目前还未大规模部署，虽然低能耗是其最大特点，但初投资也制约着该系统的发展与推广。
来源：数据中心最佳实践