作者:Hardy(晗狄) 來源: 架構師技術聯盟

HPE 3PAR存儲有個非常有用的特性叫Storage FederatIOn(存儲聯邦)，存儲聯邦特性主要解決多個存儲數據敏捷性和流動性，主要包括Peer Motion、Online Import 和 Peer Persistence三個特性，Peer Motion和Online Import都不支持帶增值特性的LUN遷移。而Peer Persistence就是3PAR非對稱Active Passive雙活方案，其組網方式和系統架構如下。

Peer Motion是在多台設備組成一個聯邦的基礎上，實現資源可以自由移動，支持遷移映射給某個主機的所有LUN，也支持遷移某個LUN映射的所有主機。這樣讓存儲系統不會成為信息的孤島，應用可以根據需要随時在不同的系統中遷移。PeerMotion支持在3PAR StoreServ存儲之間在線非中斷Online遷移和Offline數據遷移，數據遷移操作不需要依賴額外的遷移設備，并且支持雙向數據流動。

Online Import也是基于Peer Motion實現企業可無中斷地将活動數據從現有的EMC VMAX，EMC VNX， EMC CLARiiON CX4，HDS NSC，HDS USP，HDS VSP、IBM XIV Gen2或IBM XiV Gen3等異構主流存儲(不僅包括EVA和3PAR系統)在線遷移至新的3PAR StoreServ，支持一緻性組遷移。

3PAR除了Peer Persistence(Storage Federation的一個特性)外，還提供了其他幾個Persistent特性。Persistent Cache在3PAR StoreServ多控的情況下，如控制器故障可以實現寫其Cache重新鏡像到其他控制器，保證寫緩存不丢失，保證系統的性能。Persistent Ports可以在升級或者維護控制器節點的時候，對主機進行屏蔽，把主機I/O重定向到另個一個控制器節點，主機無需用多路徑切換，而且還可以檢查端口信号，實現快速端口替換。

Persistent Checksum是對閃存更重要的一個特性，它是采用标準的SCSI T10 PI規範實現數據端到端一緻性，防止靜态數據損壞的。因為閃存是電子器件，容易受到宇宙射線的影響發生電位翻轉和數據靜默破壞。

接下來重點讨論下HP 3PAR Peer Persistence，它是一個基于存儲雙活的擴展集群，在企業數據中心内部或之間進行透明服務器故障切換，從而保持企業用戶業務連續性.。對比IBM SVC和EMC VPlex産品優勢在于存儲本身自帶特性，不需要購買虛拟化網關，減少維護和設備采購成本，劣勢在于設備必須是相同存儲設備(不過目前基于存儲的雙活都是基于同構産品實現)。

3PAR Peer Persistence是 Active Passive存儲雙活(同一個雙活卷隻能在主端同時進行讀寫)。下面我們以Oracle RAC應用為例對其做一個分析，應用層基于Oracle RAC集群組網，存儲通過Peer Persistence組網，數據中心通過FC網絡相連。數據中心間組網方式和網絡要求跟前期讨論的其他雙活技術一樣。

Oracle RAC向外提供服務，并通過服務器集群應對可能的物理設備故障，還實現了負載均衡分配；存儲雙活部分由3par存儲和SAN網絡交換機以及運行在虛拟機之上的仲裁服務器構成，存儲空間通過peer persistence展現給服務器和Oracle RAC軟件。與其他存儲雙活方案一樣，3par Peer Persistence通過仲裁機制防止腦裂問題。那麼它為什麼它不是Active Active雙活呢？

這就需要通過IO處理流程來進行分析了，在ActiveActive雙活的虛拟磁盤陣列中，主機會把IO根據一定的（比如本地存儲優先）策略發送到兩個磁盤陣列中去。一個LUN在兩個磁盤陣列的雙活鏡像卷中可以同時處理主機發來的IO，沒有主從的區别。Active Active雙活LUN在兩個陣列上的鏡像都可以處理主機IO，它們的WWN是一樣的，或通過卷鏡像功能向主機呈現一個虛拟卷。

3par Peer Persistence設置的LUN存儲有主從區别，主機來的IO都會先到主存儲，再由主存儲同步到從存儲。對于主機，存儲路徑的管理和切換，通過ALUA協議來實現。下面這張圖顯示了兩者在IO路徑上的不同，兩條黃色IO路徑在正常狀态下是非激活狀态且沒有IO流過；但對于Active Active雙活則不然，兩條黃色路徑處于激活狀态，分擔部分綠色路徑上的IO。

也就是說3par的Peer Persistence沒有了黃色路徑，那麼3PAR又是如何管理主備陣列的呢？它通過多路徑的ALUA(異步邏輯單元訪問)協議把主陣列設置為主動、優化(Active/Optimized）狀态，把從陣列設置為主動、非優化 (Active/Unoptimized) 狀态。這樣主機自然把IO優先都發送到主陣列上去了。當主陣列出現故障時，Peer Persistence又會反過來把從陣列設置為主動、優化(Active/ Optimized)狀态，把主陣列設置為主動、非優化(Active/ Unoptimized)狀态。

至此，是否可以說Active Active的雙活是否一定優于3par的Peer Persistence雙活呢？表面上看是的，由于ActiveActive雙活模式下，兩個陣列同時處于激活狀态且都能接收處理主機IO，均衡負載。切換會很快，理論上主機軟件無感知。

如果我們作更深入的分析，針對存儲切換速度問題，在正常情況下的手工切換，Active Active雙活和Active Passive雙活切換速度都非常快，業務應用軟件不會有感知。

在正常情況下的自動切換，在使用了遠端仲裁服務器仲裁的情況下，在文件拷貝操作試驗中，拷貝操作暫停了2—5秒的時間，然後繼續進行，操作沒有中斷。這個延時是由仲裁服務器需要對兩個存儲狀态進行判定必須的代價。所有仲裁服務器為了防止誤判，都會需要一段時間延時來判定存儲狀态。Active Active雙活也不例外。

針對均衡負載問題，雖然Active Active雙活中，兩個陣列可以同時處理主機IO，但是為了保持數據一緻，這些IO中的寫操作必須同步到另外一個陣列上。也就是說上圖中的第2和第3步驟無法節省。隻有第1和第4步驟節省了傳輸時間。但是，雙活因為複雜的鎖機制帶來了陣列内部軟件處理時延。這個時延是否能夠抵消第1和第4步驟的傳輸時間節省，還需要是視情況而定。還有一點需要特别注意的是随着系統負荷增長，IO流量越大，處理時延越長。

正如前面雙活系列中，我所提到的，一個陣列上往往存有多個應用的數據，把這些應用數據分組，分别設置不同主存儲可以達到手工負載均衡的效果，站在整個存儲系統層面來看，Peer Persistence也可以針對不同業務在兩個存儲系統上提供存儲業務，對外體現出“Active Active”雙活。通常一個應用的多個數據LUN必須設置到一個一緻性組裡面，保證數據在同步和切換過程中保持一緻性。

除了Peer Persistence外，富士通的ENTERNUS DX S3和Dell 的SC系列存儲也支持 Active Passive雙活，相比之下，富士通和Dell在仲裁機制上并不完備，下面簡單讨論下Live Volume和Storage Cluster。

Live Volume是兩套Dell SC系列存儲基于同步複制内置功能提供的Active Passive雙活解決方案功能，兩台存儲上的Live volume卷将使用相同的設備ID，通過主機上的多路徑在完成對設備的封裝後，變成一個卷，這個卷同時有到主存儲和備存儲的路徑。一旦主存儲發生故障，主機上的IO隻是發生路徑的切換，整個切換過程應用不會中斷，保障業務的連續運行。

Live Volume的複制的鍊路可以是FC或者是iSCSI。通過Tiebreaker實現第三站點的仲裁。雙活實現的原理跟Peer Persistence很類似，通過操作系統多路徑軟件實現IO選路算法，優先寫到Primary LiveVolume裡。但如果沒有直接的路徑到主卷，那麼就寫到Secondary LiveVolume裡，從卷這個時候就是一個Proxy代理，把寫請求轉發給主卷(通過複制鍊路)。

這種實現方式比較簡單，因為實際上隻有主陣列真正去寫存儲，無需解決鎖的問題。但這種方式下從站寫I/O不能就近落盤，而需要多一次遠程轉發。

Storage Cluster 是富士通ENTERNUS DX S3/S4系列存儲的雙活功能，作為存儲集群的一個選項，基于Transparent Failover Volumes (TFOV)進行設置，該特性目前隻支持富士通最新的ETERNUS DX S3/S4硬件平台。

目前Storage Cluster Option支持FC鍊路，需要2台ENTERNUS DX S3/S4的陣列作為主備存儲，2台博科的FC交換機，陣列與仲裁之間采用IP網絡互聯，另外還需要一個Storage Cluster Controller(可以是一個服務器或者虛拟機)來負責監控集群和控制集群的切換，共同完成仲裁機制。ENTERNUSSF軟件用來基于TFO(一緻性組)，TFOV，Copy組和REC(Remote Mirroring)對來設置優先陣列。Storage Cluster Controller和ENTERNUS SF軟件可以部署在一起或單獨部署在不同服務器。

在實現原理上就是兩台陣列通過同步複制技術來進行數據同步，主存儲和從存儲采用Channel adapter (CA)進行控制，CA Pair擁有相同的WWPN/WWNN和端口地址，正常情況下，主存儲的端口狀态處于Link UP狀态，從存儲的端口狀态為Link Down狀态；所以IO都是通過主存儲來處理，存儲端口的狀态由Storage Cluster來控制。故障切換的原理是CA端口組共享WWPN/ WWNN來實現，由于對外統一呈現的是邏輯端口信息，所以存儲内部端口和陣列切換不會影響主機訪問。

當主存儲發生故障時，Storage Cluster就會進行故障切換，并把IO轉到從存儲下發，具體過程如上圖所示。

1. 首先通過服務發送IO請求到主存儲，

2. 主存儲的CA端口不會相應IO，Storage Cluster Controller将檢測到主存儲故障并把故障報告給ETERNUS SF。

3. 當IO超時後會在主機上進行重試，

4. ETERNUS SF挂起主存儲到從存儲的REC會話，使得複制鍊路成為切換後的實際業務數據鍊路，

5. 從存儲的CA端口别激活成為Link Up狀态，并成為主的CA端口

6. 主機IO從從端存儲進行處理，應用繼續運行，整個切換過程大概需要3秒鐘左右。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!