图1Phoenix超级计算机标识
Phoenix超级计算机是东方超算与北京三轴空间科技共同合作研发的水冷超级计算机,部署于中国科学院大学雁西湖校区,服务于物理科学学院张余洋课题组,用于基于密度泛函理论的量子力学计算研究。
Phoenix具备56个双路英特尔至强铂金级9282处理器的计算节点,共有6272个计算核心,Linpack峰值521TFlops(每秒521万亿次双精度浮点计算能力)。
图2Phoenix超级计算机部署实景
整套超级计算机部署在2套机柜空间内,全部计算节点部署于单机柜空间;管理网络、计算网络、管理节点、登录节点、存储节点、液冷控制单元(CDU)、环控设备集中部署于另一个机柜空间内。
集群架构介绍:
根据基于密度泛函理论的量子力学计算的应用运行特征,计算节点配置双路英特尔至强铂金级9282处理器(单颗处理器56核心/基础频率2.6GHz/最大睿频3.8GHz)、24条32GB内存、1块Omni-Path100Gb网卡;系统管理网络与硬件管理网络共享板载千兆网卡,降低高密度部署中的网线密度;计算与存储网络配置2台48口Omni-Path100Gb交换机,2台交换机之间1/3阻塞,在满足大规模计算网络通信需求的基础上将更多的预算用于提升计算能力。
图3集群计算网络架构
散热制冷介绍:
图4散热系统整机架构
计算节点采用冷板式与风冷双散热系统设计,散热系统分为三部分:1.一次侧干冷式冷塔2.二次侧液冷控制单元3.环境精密空调。
工作原理:
一次侧干冷式冷塔:采用自然风冷+压缩机补冷方案,冬季采用自然风冷散热、当自然风冷无法满足冷塔控制箱设定的供水温度时,压缩器启动补冷;
二次侧冷却分配单元:通过与一次侧换热,实现供应32摄氏度水给计算节点;
环境精密空调:计算节点运行中处理器与内存之外的热量通过机箱风扇散发至机房环境,需按照整机功耗20%来配置恒温恒湿精密空调。
冷板贴附在处理器和内存散热面,依靠流经冷板的液体将热量带走实现高效换热,主板、网卡、电源供应器等部件依靠冗余风扇实现风冷散热。
图5计算节点机箱前/后视图
图6节点冷却管路/冷却节点
使用Intel电源散热实用程序PTU查看节点满负载运行的状态,32摄氏度供水的情况下CPU核心温度为50-65摄氏度,相对于最高运行温度85摄氏度,供水温度仍具有较大升温空间。
图7计算节点满负载运行状态
一次侧干冷式冷塔介绍:
图8一次侧干冷式冷塔
图9安装于机房内的冷塔控制箱和一次侧供回水管路
