目錄

- 測試平台介紹

- M.2 NVMe SSD散熱方案淺析

- Intel RST RAID的Write Back寫緩存适用于SSD嗎？

- RAID 0、10讀寫帶寬線性提升

- 選擇軟RAID還是硬RAID？

- SLC Cache如何擔保性能？PCIe 5.0夠快嗎？

- 何時要用企業級SSD？

幾個月前，曾有同事咨詢我一位客戶提出的需求——磁盤（SSD）性能要達到10GB/s，雖然沒特别強調成本，但也問我在Intel單路工作站平台（Dell Precision 3000級别）上能否實現。

這個問題似乎可簡單可複雜？嚴謹一些讨論，我試着列出以下幾個關注點：

-10GB/s是指SSD峰值帶寬，還是能一直持續的穩态I/O？

-順序讀I/O能達到10GB/s即可，還是順序寫也要達标？

-用哪種RAID技術合适，軟RAID還是硬RAID？

-SSD的散熱要不要考慮？

-SSD的寫壽命能否達标？

要是把上面幾點全都詳細講清楚，本文的篇幅顯然不夠。所以有些方面我會試着先起一個頭，留待後續有時間再研究測試；或者說抛磚引玉吧，歡迎大家展開進一步讨論。

測試平台介紹：12代Core可當大任？

在寫了《以“小”見大：從Precision 3660看工作站技術發展趨勢》之後，就有朋友留言對12代Core平台的Intel RST SSD RAID性能感興趣。我在前一段抽空做了點測試，然而被2周前的一點私事打亂了節奏，直到今天才整理好分享給大家。

本文也可以看作是3年前《NVMe SSD RAID的幾種玩法和測試（上）》的續篇。當初由于9代Core移動平台DMI 3.0 x4的帶寬限制、以及使用的SSD比較老，所以能夠驗證的東西有限。雖然這次我手頭的高速SSD仍然有限，但已經基本不影響測試結論了。

首先從Intel 12代CPU W680芯片組的架構來看，CPU直連的PCIe通道除了顯卡的Gen5 x16之外，還有Gen4 x4；CPU與PCH之間是x8 DMI 4.0通道。這樣在理想情況下，配置3個足夠快的PCIe 4.0 NVMe SSD，接口帶寬就可以接近7.875 x 3=23.625 GB/s的水平。

然而我手頭沒有3塊如此高速的SSD，所以換了一種方法測試——平台搭建方式見下圖：

我使用的測試機就是Dell Precision 3660 Tower工作站，本身帶了一塊M.2 2280尺寸的Micron 3400 PCIe 4.0 x4 NVMe SSD。雖然它的性能還不錯，但大家也知道，組成RAID磁盤陣列後，每塊SSD都要協同到最慢一塊的性能水平（所以強烈建議用同型号驅動器做RAID）。我手頭數量最多的就是4個三星PCIe 3.0 x4接口的PM981a，一共5個SSD，有3個安裝在闆載M.2槽位，另外2個用了PCIe轉接卡，如上圖。

注：Dell 3660工作站可能隻支持出廠選配至4個NVMe SSD，但這并不影響後期DIY。

如上表，我隻是初步估算了一下SSD的理論接口帶寬，從單盤到多盤RAID 0。一方面SSD實際跑不到這麼高，所以下文中的測試數據肯定會低一些。另外，RAID 5和RAID 10的性能我也會測的，但本文的重點還是看RAID 0最大帶寬。

上面照片中是我手頭的3塊PCIe to M.2 SSD轉接卡（有2片是在網上買的），其中PCIe x8一轉二、PCIe x16一轉四需要對應主闆插槽支持lane信道拆分——比如Dell 5820/7820/7920系列工作站。本次測試我就用的右下方那張卡，加上餘下任意一張。上方帶有風扇的卡，就是在《PCIe 4.0 SSD測試：接口、散熱和CPU對性能的影響》中給大家介紹過的Dell Precision Ultra-Speed Drive Quad。

M.2 NVMe SSD散熱方案淺析

由于本次測試使用的SSD，都不算像WD SN850那樣高功耗等級的，另外在RAID部分評估也沒有做長時間壓測，因此可以暫時忽略散熱影響。但實際應用中還是要考慮這方面的。

在許多Dell出廠配置的SSD下面，我都看到過類似的導熱墊，它能夠把固态盤的發熱重點——主控的一部分熱量傳導到主闆上。雖然這個導熱墊厚了一點，但我想這個肯定是在研發環節經過驗證有效的。

下方導熱墊 ≈ 上方散熱銅片 < 帶鳍片的散熱片 ≈ 風扇 < 散熱片 風扇

上面我試着根據自己的經驗，粗略總結個M.2 SSD的散熱輔助效果對比。在Dell筆記本裡我見到覆蓋在SSD上方的散熱銅片多一些，因為比台式機空間狹小環境溫度相對較高，如果用導熱墊傳到主闆上效果未必很好。

在去年初的SN850 SSD測試中，我曾經寫過 “…3000MB/s以上的讀I/O壓測，未經優化時SN850已經自我報告接近80℃”。該款SSD的PS 0最大功耗高達9.0W，在當時測試的Dell 5820工作站中，我的優化建議是在 “BIOS中調高對應HDDZone區域的風扇轉速，比如 30偏移量。如果不是前置熱插拔SSD還有另一種散熱解決方案——帶風扇的Ultra-Speed Drive PCIe轉接卡”。

SSD散熱的問題先讨論到這裡，不同機型會有對應的解決方案。下面看看SSD單盤性能摸底：

上面是PCIe 4.0的Micron 3400 512G，下面是PCIe 3.0的PM981a 256G

Intel RST RAID的Write Back寫緩存适用于SSD嗎？

在Dell主機啟動的F12 UEFI引導菜單中，可以用Intel RST對SSD配置RAID。本次為了盡可能用更多的NVMe SSD，我“不太正式”地接上另一塊SATA SSD作為系統盤。

上圖是在Windows系統中運行Intel Optane Memory and Storage Management（傲騰不是要停了嘛），相當于集成RAID的管理軟件。

Dell 3660工作站與3年前那個測試平台還有一點變化：RST RAID的易失卷高速緩存允許配置為“回寫（write back）”。這種情況下需要先強制關閉 “寫入高速緩存緩沖區刷新”——相當于用系統内存充當傳統硬件RAID卡的Cache緩存，并且不帶BBU電池保護要承擔掉電數據丢失的風險。

對于這個write back的性能我也測了，還不如關閉緩存速度快。由于SSD本身性能較高，Intel RST這樣基于固件和驅動實現的“軟”RAID，其緩存算法反而成為拖累。估計要是HDD機械硬盤RAID，write back會提升性能的。

RAID 0、10讀寫帶寬線性提升

上面圖表算是本文的重點吧。首先看RAID 0的順序讀寫帶寬，基本達到了随SSD數量線性增長，當5塊SSD做RAID 0時，最高讀/寫性能分别達到16719MB/s和11037MB/s，在某種程度上可以滿足本文開頭提到的用戶需求。

再看4塊SSD做RAID 10，其順序寫4663MB/s大緻相當于4塊盤RAID 0的一半，順序讀介于2-4塊RAID 0之間。這些都正常合理，2塊盤的RAID 1我懶得測了。

沒錯，RAID性能摸底測試我仍在使用CrystalDiskMark這個簡單的工具，其實它的測試引擎用的DiskSpd——由微軟官方提供，在Windows下也算靠譜了。（在5年前的《4節點近160萬IOPS：SDS/超融合測試不能隻看數字》系列評測中，我們也曾使用DiskSpd工具）

CrystalDiskMark之所以讓消費級SSD跑分好看，主要是因為它先寫入一個不大的文件（默認1GB），然後在這個文件範圍内測試。所以許多時候我們看到的都是SLC Cache緩存區的性能。這一點稍後我會介紹用Iometer的複核測試，下面先把RAID部分讨論完，RAID 5的性能還沒講呢。

選擇軟RAID還是硬RAID？

Intel RST RAID 5的性能僅作為一個參考，不是說我覺得數字不好看，而是它的實用價值/用戶接受度可能不是太高。我看到從3-5塊SSD其順序讀還有提高，但順序寫反而随着盤的數量增加而下降了。

正如Intel在文檔中所寫，RST、RSTe/VROC在Windows和Linux中的性能表現完全是兩回事。Linux系統Intel沒有驅動隻是用mdraid工具，而Windows則是依賴操作系統的卷管理器——比如RST RAID 0性能幾乎與久經考驗的“帶區卷”軟RAID如出一轍。

在冗餘保護方面，軟RAID與獨立硬件RAID的健壯性不可同日而語，比如我曾在RSTe RAID1上遇到過一個問題：當在Windows開機狀态直接拔電源（非正常斷電），重啟後就會自動重新同步鏡像以确保數據完整性。

不過如今主要用于服務器的RAID卡也有一點不足，我在《350萬IOPS：NVMe SSD RAID卡性能測試解析》中曾經提到過：RAID 10順序寫H755N NVMe SSD RAID測得5,908 MB/s，其RAID 5/6順序寫帶寬應該低于5000MB/s——看上去比RST RAID強不少了，但與使用GPU加速的GRAID（順序寫都在20多GB/s）就無法相比了。當然，GRAID嚴格說也算一種軟RAID技術。

SLC Cache如何擔保性能？PCIe 5.0夠快嗎？

上面圖表中，峰值性能都是在PM981a的SLC Cache區域測得的；而滿盤性能則是用Iometer先把整個256GB都填滿，然後再在上面測試。

可以看出，滿盤後PM981a不僅順序寫帶寬降到440MB/s，順序讀也隻有2200MB/s了（關于三星SSD的SLC Cache，如果我寫的不對請讀者朋友指正）。随機讀IOPS峰值很好看，但滿盤後讀變回14萬，随機寫IOPS隻有6000左右。

在用5塊PM981a做的RAID 0滿盤情況下，順序讀仍能達到10GB/s。關于順序寫，我以前測過最快的M.2 SSD SN850，其曲線如下圖：

作為較強的一款消費級SSD，WD SN850也無法保證寫帶寬一直穩定在2GB/s以上。我曾經看到最新的PCIe 5.0 SSD單盤峰值讀寫都能跑到10GB/s，但别忘了這也不是穩态，而且其功耗/發熱應該比9.0W的SN850要更高。

何時要用企業級SSD？

如果用戶真有10GB/s連續寫盤的需求，還是建議用企業級SSD。一方面性能可以保持穩态，同時這樣大帶寬地寫久了消費級SSD壽命也撐不住。

由于企業級SSD多為2.5英寸U.2驅動器或者PCIe AIC卡，如果是工作站用戶就不太推薦Dell 3660這一級别的機型了。可以考慮Precision 5820、7820、7920這些，雖然當前仍被Intel Xeon更新問題拖累在PCIe 3.0，但不影響每塊SSD跑到3GB/s以上。機箱大加上BIOS裡分區域、按百分比的風扇加速調節；可選前置U.2盤位加上内置更多的PCIe插槽。

提醒注意的是，工作站的标準配置中可能沒有企業級SSD選項，但工作站的開放兼容、定制能力一直是比服務器要好的。

注：本文隻代表作者個人觀點，與任何組織機構無關，如有錯誤和不足之處歡迎在留言中批評指正。如果您想在這個公衆号上分享自己的技術幹貨，也歡迎聯系我：）

尊重知識，轉載時請保留全文。感謝您的閱讀和支持！

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!