作者 / 黄河边儿

前年去过瑞士卢加诺访问过瑞士国家超级计算中心（Swiss National Supercomputing Centre，CSCS），我觉得是一个很好的例子来说明这个问题。

先上几张照片。 卢加诺这个小城围绕着卢加诺湖而建，下面就是卢加诺湖。

湖水养育了周边的居民，也给这个城市的超算中心 Alps（也是全欧洲最大的超算中心，世界排第六）提供了重要的保障。

这个超算中心的亮点就是全水冷，由于紧挨卢加诺湖，而且深部水温在七摄氏度左右，所以整个超算中心利用卢加诺湖的深水来进行冷却，最终冷去后用水可达三十到四十度，再通过多重循环，冷却至 15 度左右，然后排入卢加诺湖。

下图中的一排排红色和蓝色软管，通过金属快速接头连接到计算刀片，这个就是 HPE Cray EX 系列超级计算机的直接液冷系统。

而 Alps 正是基于 HPE Cray EX 架构建设的，Alps 使用的是液冷式 HPE Cray EX 系统；一个液冷机柜可以安装多个 compute chassis，而且这种机柜甚至不需要传统意义上的机柜风扇，主要热量直接交给液体带走。

图中，蓝色管道是较冷的冷却液进入，红色管道是吸收芯片热量之后的较热冷却液流出。

有人可能会问，为什么不用空气通过风扇来散热？因为不够，水的体积热容大约是空气的 3000 多倍。当然这不意味着同体积水一定能简单多冷却 3000 倍，但可以说明了当一个机柜的热功率进入几十甚至几百千瓦以后，继续单纯靠风扇吹空气是远远不够的。

Cray EX 的冷却设计本质上就是一个液—液换热系统。计算机内部有一个受严格控制的闭式冷却回路，通过 CDU 把热量交给数据中心建筑的冷却水系统。一台大型 in-row CDU 的额定换热能力可以达到 1.6 MW。

图片里这些软管的上游最终连接的其实是一套兆瓦级的工业冷却系统。

以卢加诺的这个超算中心为例，这座计算机楼一共分成三个功能层：

最上面是大约 2000 平方米的机器大厅，摆超级计算机，如下图

中间是 distribution deck，分配层，专门放各种电力、冷却水以及针对不同计算设备配置的辅助设施。

最下面是 resource deck，资源层，水、电、备用能源等基础资源从这里进入整座建筑。

一般数据中心常见的是几十厘米高的架空地板，下面塞满电缆和水管。问题是，一旦二十年以后设备变了，水管尺寸变了，功率密度翻了几倍，下面很快就没有空间。所以 CSCS 干脆把这个架空地板做成了一整层楼，现代很多新建的超算中心也多如此。

上图里的很大的圆柱形金属罐是 CSCS 资源层中的备用冷却水储罐。它们是为了应付特殊情况而纯在的，比如湖水冷却系统突然中断。这些储水可以维持大约 20 分钟。

20 分钟听起来很少，但对于超级计算机而言，已经非常宝贵了。

因为如果冷却水突然完全断掉，你不能简单地像关家用电脑一样“啪”一下断电。

正在运行的数千个计算节点需要退出任务，存储系统需要完成正在写入的数据，一些文件系统需要卸载，计算节点需要按照顺序关闭。

所以这些水箱的设计思想不是湖水没了以后继续算几个小时。

而是给超级计算机争取一段安全着陆和退出的时间。

真正维持超级计算机运行的东西，大部分根本不在超级计算机那一层。

另外，值得一提的事，CSCS 并不是直接使用卢加诺湖里的水来降温。

因为湖水里有悬浮物、微生物、矿物质，还有各种会造成腐蚀和污堵的问题；而计算机内部的冷板和细小流道对水质要求非常严格。

所以，湖水回路和数据中心内部冷却水回路在大型换热器中相遇，但两个回路彼此隔离。

我们可以把它想象成两条彼此贴着走、但绝不会混水的河流。

热量可以穿过换热器的金属板，但水本身不能穿过去。

下图就是 CSCS 冷却水分配和换热基础设施的一部分。

还有一个比较有趣的地方是，我们到达这个 cscs 超算中心乘车走了一段，这个地方并不是建在湖边，而是在 Lugano-Cornaredo。所以，卢加诺湖到底是怎么被接到超级计算机上的呢？

冷却水首先从卢加诺市中心 Parco Ciani 附近的湖岸泵站开始。取水深度大约 45 米。

这个深度的湖水全年大约只有 6℃。湖底安装了高约 6 米、重约 13 吨的取水过滤结构。

湖岸地下泵站有三台主要水泵，可以把水沿管道送出。

整个系统最大流量达到约 760 L/s，其中原始设计中约 460 L/s可供 CSCS 冷却使用，其余能力可以提供给当地水务和能源设施。

然后这股水要在地下走多远？

2.8 公里。

并且不是平着走。

CSCS 比湖面高大约 30 米。

也就是说，超级计算中心实际上在城市地下修了一条直径约 80 厘米的大管道，把卢加诺湖的深层冷水一路送到计算机楼。

那为什么一定要去 45 米深的地方取水？

因为湖泊并不是一桶温度均匀的水。

尤其是较深的湖泊，在一年中相当长的时间里会出现明显的热分层。

夏天湖面受到太阳加热，可以很暖；但更深处的水温变化要小得多。

对于数据中心来说，这非常理想。

因为传统的数据中心如果想得到 6～10℃左右的冷水，通常需要使用制冷机，即电能→压缩机→制冷循环→冷水。

而 CSCS 的思路变成：天然 6℃湖水→泵→换热器→冷水。

把最耗电的压缩制冷过程大幅减少甚至取消。这就是工程上所谓的 free cooling，自然冷却。

运水不易，所以，既然水来了就要充分利用，cscs 是把湖水利用了两遍。

首先，湖水通过换热器以后，CSCS 内部第一级冷却回路可以向高性能计算设备供应大约 8～9℃ 的冷却水。

这一套冷却基础设施原始设计可以处理最高约 14 MW 的高功率计算负载。

经过超级计算机以后，水当然会升温。

官方资料给出的典型温升大约是：ΔT≈8℃

于是水温大概到达了 16∼17℃

之后，cscs 又把这一部分冷量交给第二级回路。

第二套中温冷却回路可以继续给硬盘、存储设备以及热流密度较低的计算设备散热，设计能力约 7 MW。

cscs 把这套方案叫Pump once, cool twice——泵一次，冷却两次。

哦对了，中心还有一个有趣的玩意儿，电梯，全欧洲最大的电梯，最多载人 66 个，5000kg。

好了，写到这里。

来源：知乎日报