在益企研究院“超A服務器”開箱鑒賞系列前面三集中，主角都是2U的CPU服務器，作為本系列的完結篇，今天跟着狒哥一起來看一款支持8個英偉達A100 GPU的服務器，整體規格是4U，還蘊涵了3U和2U的元素，更有“隐藏款”1U雙路CPU服務器。

超微有超多的GPU機型，僅僅H12代A 服務器（A Server）産品線中，就已經有六七款不同形态和GPU數量的型号，具有很強的代表性。

這款A Server 4124GO-NART支持雙路AMD EPYC 7003/7002系列CPU，和8個采用NVLink互聯的英偉達（NVIDIA）A100 GPU，面向高性能計算（High Performance Computing，HPC）、AI/深度學習（Deep Learning）等應用。

俗話說“千金易得，一GPU難求”。這裡要特别感謝E企研究院的戰略合作夥伴聯泰集群，提供了配滿8個A100 GPU的AS -4124GO-NART 供我們拍攝——看這個“ ”号就知道是NART的加強版，具體區别稍後解釋。

在上述大數據量的應用場景中，集群裡有大量的GPU協同工作（許多節點一起運行單個作業），不僅每個GPU的性能要很強，GPU之間的互連帶寬也要盡可能高。體現在服務器設計上，就是對内GPU之間要通過NVLink而不是相對低效的PCIe連接，并采用高性能的NVMe SSD；對外要有足夠數量的高性能網卡，支持GPUDirect RDMA，譬如200Gb/s的Mellanox ConnectX-6。

SXM4外形規格的A100 GPU通過英偉達專利的NVLink互聯，帶寬高達600GB/s，接近PCIe 4.0（x16）的10倍，而且不用去CPU轉一圈兒，時延也要短很多。

A100 GPU的數量決定了NVLink組網的拓撲：4個GPU是兩兩直連，8個GPU則要通過6個NVSwitch。A100 GPU的顯存有40GB HBM2和80GB HBM2e兩種容量，SXM版本的最大TDP（Thermal Design Power，熱設計功耗）分别高達400瓦（W）和500瓦，意味着8個GPU加6個NVSwitch芯片的總功耗可達4千瓦以上，對供電和散熱能力的要求已經遠超絕大多數CPU服務器。

AS -4124GO-NART由三個功能和外形不同的節點（Node）或者說子系統構成，分别是CPU節點、交換節點和GPU節點。單單GPU子系統就高達3U，深度約700mm，前端（機櫃冷通道側）是4個長寬92mm、深76mm的對旋風扇，分别達到13300RPM和12200RPM的高轉速，後面的GPU基闆上依次是6個NVSwitch和兩行各4個A100 GPU，都安裝有高大的散熱片，氣流先經過NVSwitch的散熱片，然後在導流罩的約束下穿過密集排列的GPU散熱片，再流過後方的交換節點和電源框排出。

強大的散熱設計隻是一款專業GPU服務器的必要而非充分條件，作為獲得英偉達認證（NVIDIA Certified）的GPU服務器，AS -4124GO-NART遵循了英偉達的以下設計建議：

首先，選擇2個最高端的服務器CPU，以匹配8個A100 GPU。在GPU子系統的正上方，就是1U的雙路CPU服務器，支持AMD EPYC 7763這樣的64核“頂流”CPU。為了在1U的空間内安頓好2個TDP可達280瓦的CPU，超微采用了兩大殺手锏：

一是8個4056對旋風扇，轉速高達23300RPM/20300RPM（冷/熱通道），向CPU吹出強勁氣流；

二是大量應用3M出品的扁平線纜，緊貼機箱兩側和底部，盡可能不阻礙氣流，保證散熱效率。

其次，使用大量的PCIe鍊接。在2個CPU和8個A100 GPU之間使用至少4個PCIe x16鍊路，以确保CPU有足夠的帶寬将命令和數據推送到A100 GPU；

第三，為了獲得最佳的大規模AI訓練性能，A100 GPU與網卡（NIC）1:1配比以保證節點之間的網絡性能。

使用PCIe交換機連接CPU、GPU、網卡和NVMe（存儲），形成淺層且平衡的PCIe樹形拓撲，可實現從網卡和NVMe進出A100 GPU的最快點對點傳輸。AS -4124GO-NART的交換節點位于CPU節點後方，核心是4個PCIe交換芯片，兩側各有4個PCIe 4.0 x16擴展槽，可以安裝8個200Gb/s高速網卡，滿足對網卡數量和帶寬的要求。

在交換節點的右側邊，還有1個來自CPU1的超微AIOM（Advanced I/O Module）卡槽，支持OCP 3.0網卡，提供基本而又靈活的網絡連接能力。獨立的RJ-45管理網口、VGA接口和2個USB 3.0端口，還有出自CPU2的PCIe 4.0 x16和x8 LP插槽各一，分居CPU節點前面闆的兩邊。

最後，在存儲方面，英偉達建議采用GPUDirect Storage，可減少讀/寫延遲，降低CPU開銷，并實現更高的性能。AS -4124GO-NART支持大量的NVMe存儲設備，除主闆後部2個PCIe 4.0 x4的M.2 2280/22110槽位外，CPU節點前面闆中部有6個、交換節點也可選配4個，共可提供10個熱插拔2.5英寸U.2盤位。

是時候揭曉AS -4124GO-NART後面的這個“ ”号了。服務器後端被分為上下兩個2U，上2U是已經介紹過的交換節點，下2U則留給4個大功率供電單元（PSU，簡稱“電源”）。NART是4個2200瓦鉑金（Platinum）級電源3 1冗餘，NART 則是4個3000瓦钛金（Titanium）級電源2 2冗餘，具有高達96%的轉換效率，可以作為NART的升級選項。無論哪種配置，都能保證6千瓦（kW）級别的供電能力，充分發揮8個A100 GPU的強大算力。

粗略的看，上面是CPU節點接交換節點，下面是GPU節點接4個大功率電源，結果是AS -4124GO-NART的深度（長度）達到900mm，最好用1.2米的機櫃适配。

好了，“超A服務器”開箱鑒賞系列節目就到這裡，我們以後再繼續CPU、GPU等芯片與服務器的故事，也歡迎大家留言點播。再見！

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!