數據存儲作為科技強國的關鍵基礎設施,在當前大型超算中心、新型油氣勘探、基因測序、自動駕駛、氣象預測、宇宙探索等領域發揮着重要作用,同時也是高性能計算(HPC)領域數據應用和數據分析的重要支撐平台。
華為在“重投”數字基礎設施的同時,也将這一領域視為數字賽道發展的重要方向。
9月24日,在華為全聯接大會的第二天下午,華為常務董事、ICT産品與解決方案總裁汪濤發布了多款數字基礎設施相關技術,其中包括了業界首個面向高性能數據分析(HPDA)的分布式存儲OceanStor Pacific。在華為看來,高性能數據分析的大時代正在來臨。
“HPDA是超算領域正在發生的一個重要趨勢,智能世界的加速到來,讓AI、大數據技術也正在加速和HPC超算技術産生深度融合。”華為海量存儲領域總裁王怡東在采訪中對記者表示,數據密集型應用的爆發正在讓高性能計算系統從以算力為中心逐步轉變為以數據為中心。
根據華為官方微博顯示,在今年7月國際超算大會最新一期IO500排行榜中,基于華為AI基礎軟硬件的“鵬城雲腦II”超級計算機再次刷新世界紀錄,蟬聯全系統輸入輸出和10節點規模系統兩項世界冠軍。而在2021年國際超算大會(ISC)公布的最新的TOP500榜單中,其中有342套系統采用了AI相關的加速技術,TOP10無一例外都采用了AI相關的算力。
随着AI和大數據的技術發展,越來越多HPC應用借助AI和大數據技術深度挖掘數據背後的價值,使得數據分析量急速增加。
根據全球HPC市場研究機構Hyperion Research預測,2019年到2024年基于AI和大數據的HPC存儲的複合年增長率超過17%,遠遠超過服務器6.9%的複合年增長率,到2024年,HPC市場将有超過40%來自數據密集型超算。
“多樣化算力會帶來多樣化業務負載,這就好比一個跑100M的短跑運動員頂多可以多跑一下200M和400M,但是基本沒辦法兼顧10000M長跑項目。為了解決這個問題,業界通常采用不同類型的存儲來應對。”王怡東對記者表示,新的超算架構要求打破内存牆、協議牆的雙重限制,多樣算力直接按需加載到存儲系統,華為為了減少算力之間數據搬移,提高分布式算力并行處理效率,将重點放在了存儲的架構創新上。
經過了多次技術叠代,王怡東對記者表示,華為在最新方案上采用了“融合非結構化數據索引”的創新技術架構,也就是說,華為分布式存儲可以原生支持文件、對象以及大數據協議。所謂原生協議支持,就好比一個人的母語就有三種,可以随意在不同的語境中切換,實現溝通交流效率的最優。而傳統意義上,一般存儲的"母語"隻有一種,隻能通過網關這種翻譯來實現協議之間的對話。必然會帶來語義或者性能上的損失。因此,通過架構創新可以實現分析效率的提升。
同時,這種技術不僅能被使用在政府超算領域。在HC大會現場,汪濤表示,目前,除了超算中心領域,華為OceanStor Pacific已在能源勘探、氣象預測以及基因檢測等多個商用超算領域成功落地。
比如,在全球SKA天文望遠鏡陣列中,上海天文台與華為合作,搭建了世界首台SKA區域中心原型機核心業務存儲系統。而在油氣勘探領域,華為與中石油東方物探也已完成了單體數據量最大的油氣地震勘探數據處理項目。
“數字基礎設施既面臨新挑戰,也迎來屬于海量存儲的大時代。”王怡東對記者表示,到2025年,新增數據量是180ZB,其中超過80%是非結構化存儲,而其中僅僅2%的數據被儲存,僅僅10%的數據被分析,随着應用場景的逐步打開,高性能數據分析将會迎來更大的發展空間。
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!