随着企業數字化轉型的持續深入,數據分析呈現四大趨勢:第一,數據類型多元化,由以結構化為主轉變為結構化、半結構化、非結構化、實時數據共存;第二,分析場景多樣化,由以統計分析為主轉變為統計分析、标簽分析、全文檢索、 預測分析、推理分析共存;第三,分析時效實時化,由以離線分析為主轉變為實時分析、交互分析、自助分析和智能分析;第四,數據管控統一化,由以弱管控轉變為強管控,統一标準、統一存儲、統一治理、統一視圖。
數據平台的演進經曆了如下幾個階段:
八十年代誕生的數據庫,解決了企業數據高效的事務性處理;
九十年代誕生的數據倉庫,核心思路是把數據庫中的數據進行一定格式轉換後,定時地複制至另一個庫裡做列式存儲,從而滿足企業查詢和數據分析的訴求;
2000 年後,随着互聯網的發展,數據量暴增,非結構化數據越來越多,企業業務變化越來越快,傳統數據倉庫無法适應大數據以及現代化企業對于實時、交互式分析等方面的訴求。數據湖因此誕生,它選擇了“前松後緊”的設計思路,初始化階段放棄嚴格的模式,後置 schema,從而獲取更強的靈活性,同時通過統一存儲管理和計算優化來保證數據的一緻性和性能;
近年來出現的湖倉一體架構,解決了數據湖與數據倉庫體系的割裂,在架構上把數據湖的靈活性、數據豐富性與數據倉庫的企業級戰略/戰術分析支持能力進行融合,逐步演進成為集多源異構數據統一儲存、多模型計算分析及統一數據治理的大數據綜合解決方案;
解決客戶的多元化數據類型,多樣化分析,實時數據分析和統一數據管控,建設湖倉一體平台是現階段最優解。
“湖 倉” vs “湖倉一體”
“湖倉一體”時代,數據湖和數據倉庫通過ETL打通,架構上仍各自獨立。數據湖從各類數據源接入原始數據,永久不删,數據從數據湖遷移至數據倉庫,支持分析場景。雖然這種方式可快速利用已有的數據湖和數據倉庫資産,但是湖和倉仍然各自獨立,架構複雜,數據存多份且實效性慢,資源成本和運維成本依舊很高。
“湖倉一體”時代,通過統一資源管控,統一分布式存儲管理來支持多種存儲模型,統一分布式計算引擎,統一數據接口,實現湖倉一體架構,在技術上,具備存算解耦、彈性擴展、多租戶、多計算引擎、分級資源管理等能力;在功能上,兼具數倉的标準SQL、ACID,數據湖的大規模異構數據存儲等能力;對下,提供統多種數據接入形式,支持多雲、混合雲及跨雲部署;對上,提供多種數據操作方式和接口,支持多種操作語言。
星環“湖倉一體”的解決之道
星環科技(星環信息科技)的湖倉一體解決方案,從下到上包含如下層次:1)信創自主可控硬件生态,支持多種國産CPU,服務器和操作系統;2)雲原生底座,實現了基礎設施資源的統一管理;3)統一的分布式存儲管理,支持庫表存儲、文本存儲、對象存儲,鍵值存儲、時序存儲、事件存儲、時空存儲、圖存儲、全文引擎等多種模型存儲統一管理;4)統一分布式計算引擎,支持分析型處理、操作型處理及實時處理等多種計算類型;5)統一數據操作/數據接口,支持交互式報表分析、即席查詢、實時分析、圖像文本分析、預測性分析及多場景的數據探測分析,極大方便生态應用;6)統一數據管理,實現了多模型數據和元數據的統一管理;7)統一多租戶管理,在資源層,應用層和數據層實現了多租戶隔離。
星環“湖倉一體”的邏輯架構:星環的湖倉一體 的邏輯架構,實現了 N 數據源到 1 數據湖,到 N 數倉和數集,到 1 數據接口,再到到 N 數據服務的總體邏輯架構。
星環“湖倉一體”的技術架構:星環湖倉一體的技術架構,核心是星環科技多模數據統一架構,它的核心價值是:1)将多個操作訪問入口變為一個入口;2)将多種數據庫語言變為一種語言;3)将多套計算引擎變為一套引擎;4)将多份計算資源變為一份資源;5)将分散存儲管理變為統一存儲管理;6)将多份數據資産變為一份數據資産。
,
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!