服務器數據恢複環境：

某品牌存儲中12塊SAS硬盤組成RAID6，分成一個卷，分配給幾台Vmware ESXI主機做共享存儲；

卷中存放一定數量的Windows虛拟機，數據盤都是精簡模式。

服務器存儲故障：

機房斷電後開機存儲不可用。經過管理員檢測診斷後初步判斷是斷電導緻的存儲陣列癱瘓。服務器管理員聯系我們數據恢複中心進行數據恢複。

服務器存儲數據恢複過程：

1、服務器數據恢複工程師将故障存儲的所有磁盤連接到一台Windows Server服務器上，故障磁盤都設為脫機（隻讀）狀态，連接狀态如下圖所示：(圖中HD1-HD12為目标備份磁盤，HD13-HD24為源故障磁盤)：

北亞數據恢複——服務器存儲RAID6數據恢複

2、使用工具以底層方式讀取HD13-HD24的扇區時發現了大量扇區損壞，初步判斷這種硬盤的讀取機制比較獨特。嘗試更換操作主機、HBA卡、擴展櫃和操作系統，但均出現相同故障。與服務器管理員溝通後得知此控制器對磁盤其實沒有特殊要求。

3、使用專業工具對硬盤損壞扇區的分布規律進行檢測，結果發現：

a、損壞扇區分布以256個扇區為單位。

b、除損壞扇區片段的起始位置不固定外，後面的損壞扇區都是以2816個扇區為間隔。所有磁盤的損壞扇區分布如下表（隻列出前3個損壞扇區）：

北亞數據恢複——服務器存儲RAID6數據恢複

北亞服務器數據恢複工程師臨時編寫小程序，跳過每塊磁盤的損壞扇區，鏡像完所有磁盤的數據。

服務器存儲故障分析：

1、分析損壞扇區。

分析損壞扇區發現損壞扇區呈規律性出現：每段損壞扇區區域大小總為256；損壞扇區分布為固定區域，每跳過11個256扇區遇到一個壞的256扇區；損壞扇區的位置一直存在于RAID的P校驗或Q校驗區域；所有硬盤中隻有10号盤中有一個自然壞道。

2、分析分區大小。

對HD13、HD23、HD24的0-2扇區做分析，結果發現分區大小和控制器中保留的RAID信息區域大小吻合。根據物理硬盤底層的表現發現原存儲并未啟用存儲中常用的DA技術(520字節扇區）。

分區大小如下圖(GPT分區表項底層表現，塗色部分表示分區大小，單位512字節扇區，64bit)：

北亞數據恢複——服務器存儲RAID6數據恢複

3、重組RAID：

a、分析RAID結構。

存儲使用的是标準的RAID6，隻需要獲取到RAID中硬盤數量以及RAID的走向就可以重組RAID。

b、分析RAID條帶大小。

整個存儲被分成一個卷分配給幾台ESXI做共享存儲。卷的文件系統是VMFS文件系統，而VMFS卷中又有存放了大量的Windows虛拟機。Windows虛拟機中大多使用的是NTFS文件系統，因此可以根據NTFS中的MFT的順序分析出RAID條帶的大小以及RAID的走向。

c、分析RAID是否存在掉線盤。

鏡像完所有磁盤後發現最後一塊硬盤中并沒有像其他硬盤一樣有大量的壞道，其中有大量未損壞扇區，這些未損壞扇區大多是全0扇區，因此可以判斷這塊硬盤是熱備盤。

d、重組RAID

根據分析獲取到的RAID信息重組RAID，重組後能看到目錄結構，但是不确定是否為最新狀态。服務器數據恢複工程師随機檢測了幾個虛拟機發現部分虛拟機正常，初步判斷RAID中存在掉線的磁盤。依次将RAID中的每一塊磁盤踢掉，然後查看剛才數據異常的地方但并沒有發現問題。仔細分析底層數據發現問題不是出在RAID層面，而是出在VMFS文件系統上。VMFS文件系統如果大于16TB的話會存在一些其他的記錄信息，因此在組建RAID的時候需要跳過這些記錄信息。再次重組RAID後針對其中的一台虛拟機做驗證，發現将所有磁盤加入RIAD後這台虛拟機是可以啟動的，但在缺盤的情況下啟動就有問題，因此可以判斷RAID不缺盤的狀态為最佳。

4、驗證數據：

a、驗證虛拟機。

對較為重要的虛拟機做驗證，發現虛拟機大多可以開機進入登錄界面；部分虛拟機開機藍屏或開機檢測磁盤，使用光盤修複後都可以啟動。

部分虛拟機開機如下：

北亞數據恢複——服務器存儲RAID6數據恢複

b、驗證數據庫。

對重要虛拟機中的數據庫做驗證沒有發現問題，除了其中一個數據庫缺少部分數據。經過仔細核對後發現這些數據在數據庫中本來就不存在。通過查詢master數據庫中的系統視圖，查出原來的所有數據庫信息如下：

北亞數據恢複——服務器存儲RAID6數據恢複

c、檢測整個VMFS卷是否完整。

由于虛拟機數量很多，如果每台都去做驗證所花費時間太長。我們對整個VMFS卷做檢測發現部分虛拟機或虛拟機的文件被破壞，列表如下：

北亞數據恢複——服務器存儲RAID6數據恢複

5、恢複數據：

a、服務器數據恢複工程師和管理員溝通了目前數據恢複的情況。管理員對幾台重要的虛拟機進行驗證後，用戶反饋恢複出來的數據沒有問題。數據恢複工程師立即着手恢複所有數據。

b、準備好目标陣列，将重組的RAID數據鏡像到目标陣列上。然後利用工具解析整個VMFS文件系統。由于部分虛拟機的數據盤很大但數據很少，可以直接導出數據然後新建一個虛拟磁盤，最後将導出的數據拷貝至新建的虛拟磁盤中即可。

c、通過上述方法将恢複出來的虛拟機一台一台的恢複到用戶的ESXI中。後續的數據遷移過程中由北亞數據恢複工程師和用戶方工程師配合完成，這裡就不贅述了。

數據恢複結果：

本案例存儲故障是由壞道引起的，最終恢複出來的數據也有部分損壞，但不影響整體數據，最終的結果也在接受範圍内。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!