tft每日頭條

 > 科技

 > 數據中台核心數據能力

數據中台核心數據能力

科技 更新时间:2025-02-04 09:35:13

  提到“數據中台”四個字,很多人都會“不明覺厲”。有意思的是,國外并沒有“數據中台”這個詞。為什麼中國企業如此看重數據中台?中台是如何産生、被發現,然後實現價值複用的?這是一個值得分析的現象!

  數據中台為什麼重要?

  不管企業業務規模大,還是小;不管公司成立的早,還是晚,或多或少地都會對數據進行投資,除了基礎的數據系統建設,還包括數據湖、數據倉庫等。但實際上,這些已有的數據投入并沒有産生理想的業務價值。

數據中台核心數據能力(組裝式數據分析)1

  為什麼會出現這種現象?Gartner研究總監孫鑫一語道破!在他看來,企業已有的數據投入是割裂狀态,有嚴重的數據孤島問題。雖然,企業在後端已經部署了大量與數據管理相關的應用,但與前端數據消費者以及與應用之間存在着巨大的價值鴻溝。

  有些企業為了實現數字化轉型戰略目标,隻是借用了“數據湖”概念,采購了“交易型數據庫”、“分析型數據庫”、“數倉”等,并且會考慮未來幾年實現雲轉型目标,或者說現在已經在向“雲化”方向發展。但由于企業規模不同、戰略目标不同、對數字化的理解不一樣,它們對數據分析、數據庫、數據資産的投入順序也會千差萬别。但相同的目标是,企業建立數據中台最直接的動因是希望讓現有的數據投資産生價值。

  然而,放眼市場,中國雖然有很多“中台生意”,但真正隻做數據整合的廠商卻不多。而當企業做了大量BI、數據庫的工作後,才開始意識到ETL的重要性。尤其是大數據時代,随着企業數據量的持續增加,數據整合的需求就變得越來越強烈。所以,數據中台解決方案的最首要任務是,通過數據整合實現數據的快速交付,并且還要找到真正可複用的數據,從根本上解決數據孤島問題。

數據中台核心數據能力(組裝式數據分析)2

  ▲Gartner研究總監孫鑫

  如何建立數據中台?

  建數據中台并不是一件容易的事情,失敗的數據中台會給企業帶來負面效果,這也是“數據中台幹跑了很多CIO”的最重要原因。所以,在企業搭建數據中台之前,要多問自己幾個為什麼。比如:我如何決定是否要做這件事兒?如果要做,最需要注意的問題是什麼……

  Gartner建議,企業在部署數據中台之前,先要從端到端的數據能力來評估,看看到底缺少哪一塊,而不是盲目上一個中台。數據中台一定在“技術成熟度曲線”的頂峰,雖然不管是BI廠商,還是數據庫廠商都稱自己提供的是中台解決方案,但作為選型決策者,一定要準确判斷,找到能解決問題的廠商,有時候選型過程可能比部署還難。

  另外,如何與業務部門進行深度溝通,也是上中台前要考慮的最重要事項之一。因為,企業的數據大多與核心業務系統有關,比如ERP、CRM;然後再考慮如何建立“數倉”、“數據湖”,如果技術和業務不統一,這樣的“中台”很難直擊痛點,産生價值。

  很多人都認為,數據中台是一個技術問題,其實更多時候是一種戰略決策。尤其對于大型互聯網企業來說,數據中台來自業務需求,業務部門希望對日益增長的數據進行有效管理,并利用這些數據指導決策。所以,好的數據分析團隊應該是“聯邦”關系,通過中央團隊、中央IT人員,對數據分析進行延展,确保企業數據擁有強一緻性。同時,還要聯合業務側的成員,一起關注快速部署與價值輸出的問題。

  值得一提的是,搭建數據中台,還要考慮以往數據資産投入産出比的問題。要知道,無論企業做不做中台,企業的業務量和數據量都在飛速增長,對于早已投入生産的“數倉、數據湖”的處理是企業在數字化轉型背景下,必須要解決的問題。如果企業過去津津樂道的“數據資産”并沒有與現有業務實現共享,這其實是數據中台在設計方面的“不完整”。如果企業把大量的時間都花在“尋找數據”上,而沒有用在“分析數據”上,這說明沒有在投資回報率(ROI)上得到更好的體現。

  讓數據中台建設為業務賦能,其實有很多相應的解決方案和實操工具。比如:通過“元數據”的自動發現,企業可以搜索到更好的數據,找到更符合企業業務情境的數據,并轉化為企業智能生産的語意。換言之,我們通過“智能搜索”,可以讓企業快速尋找相關的“數據源”,讓藏在各個系統中的數據更直觀地遞送到用戶手中,最終不斷優化和演進,形成企業最核心的數據資産。

  有哪些可落地的方案?

  行文至此,有人可能會問,數據中台要想成功落地,有沒有可參考的模型?

  Gartner把數據分析或者說任何關于數據的投入,都分成了兩個維度。一個是從數據的角度看(也是IT的角度),分為“已知數據”和“未知數據”;另一個是從問題的角度看(也是業務角度),分為“已知問題”和“未知問題”。

數據中台核心數據能力(組裝式數據分析)3

  首先,很多企業建中台是為了複用數據,并且把這些數據放在“數據資産庫”中,Gartner把這個數據資産庫稱之為“數據目錄”,大多屬于“未知的數據”和“未知的問題”。那麼,問題來了!“我過去做的數據自檢,難道不算數據目錄嗎?”當然也算,隻不過是IT導向!真正的數據目錄,應該有業務部門參與,然後共同完善,實現業務語義的逐步淨化。

  其次,通過ETL工具實現數據整合,包括數據的批處理、數據的複制、流數據管理等,解決的是“已知的數據”和“已知的問題”。在數據整合過程中,要讓業務側用戶有獲得數據的能力,并産生實際價值。所以,數據中台要具備自助部署能力,這一點非常重要,決定了數據中台項目的成敗。

  其三,是數據虛拟化,這是很多數據中台解決方案或者産品欠缺的一點。所謂的“數據虛拟化”就是在數據還沒有或不用物理位置移動的情況下,依舊可以在一個虛拟層進行分析和應用。一旦市場有了A廠商和B廠商的産品,企業想把這兩家廠商的數據源整合到數據中台時,企業就需要通過“數據虛拟化”來實現,在虛拟層上完成可複用的數據能力建設。

  基于這個模型,去選擇所需要的産品和解決方案,結果一定不會太差。隻是,現在很多人都在提“數據智能”,這一概念是怎麼來的?數據智能化和中台有哪些相關性?

  數據智能化和中台是什麼關系?

  其實,數據呈智能化方向發展,還是和企業的業務變化密切相關。過去,企業的很多決策都由領導人“拍腦袋”決定。但是,随着企業業務的規模化發展,業務決策不再是一個人的事情,而是由數據決定,需要幾個部門共同決策。

  更準确的說法是,在數據驅動下,業務決策不僅不再是一次性行為,還要強調連接和連續性,要更具情境化。

  如果用一句話總結,就是企業決策不再是“一碼通吃”,而是需要把更多小決策關聯起來,形成一個大決策;同時,前一個決策還會影響後面的決策,所有決策都要通過情境化的分析能力作為輔助。這時,以知識圖譜為代表的産品,就成為數據智能化的重要工具。

  至于,“數據智能化”和“數據中台”是怎樣一種關系?也并不難理解!數據智能化提升了數據中台建設的難度!

  企業在數據智能化背景下,數據中台建設也要順應形勢,滿足更高要求。首先,中台要能夠連接更複雜的數據源;其次,要能夠根據用戶需求,給出更具情境化的數據;其三,能以更連接、更連續、更快速的形式,給決策者提供想要的數據。

  不管是交易型數據庫、傳統數倉、數據湖,還是雲端數據存儲,企業在數據端的應用非常豐富,構成了屬于企業組織之上的一張“虛拟的網”。但是,虛拟化不應該隻是單純地把數據收集在一起,而是應該以更具情境化的工具或者方案(知識圖譜)對數據進行編織。在數據編織過程中,不僅涉及每個和消費行為相關的數據,還包括元數據的管理與關聯。

  從某種角度來說,知識圖譜或圖技術的最核心内容就是以業務視角來關聯數據,并且數據存儲是以“點”和“邊”的形式實現。過去,企業的中台或者數據管理模式比較偏IT;但現在有了“圖”能力,企業可以對各個領域的業務進行關聯,通過建模來統一數據交互語言。這是從采集和連接的角度,來看待數據智能化時代帶來的變化。

  組裝式數據分析給企業帶來哪些價值?

數據中台核心數據能力(組裝式數據分析)4

  接下來的問題是,企業如何建立數據中台才能滿足數據智能化時代的需求?Gartner認為,組裝式數據分析架構是中台建設的未來方向!

  組裝式分析架構,是基于智能化的采集和連接,幫助用戶實現自助式分析。

  什麼意思呢?就是當數據編織可以給用戶提供合适數據,能夠建立一些分析型應用的時候,企業便可以通過組裝的形式把一個個和數據相關的産品直接整合,而不是每次都從“零”開始。所以,中台建設的最終目标,其實是讓用戶基于數據進行組裝。

  所以,成功的數據中台,應該是一個組裝型能力平台,帶來的是一個個和數據分析相關的能力,而不僅僅隻是數據的複用。企業可以通過自助式分析,找到可複用的數據分析能力模塊,并以組裝的形式構建符合業務需求的分析型應用。

  具體而言,組裝式分析架構的底層依賴于數據編織設計模式,上一層是企業已購買的類似于“報表平台、分析工作站、自助式分析平台”或“數據科學平台”,并且這些能力平台被“微服務”以及“容器化”,以高度開放性确保用戶上了中台後,可以獲得組裝式體驗。

  此外,組裝式數據分析架構的底層,還會涵蓋在應用開發過程中經常用到的一個概念——DevOps。随着企業應用搭建的加快,或者說建立數據産品需求的不斷上漲、越來越多地把DevOps實踐放到與數據相關的應用上,業内稱之為DataOps。包括版本控制、持續集成、持續開發、CAID理論等,在智能數據時代同樣适用,可以助力數據應用開發快速走向生産階段。

  毫不誇張地說,“組裝式數據分析”正在重塑數據分析應用的未來,把數據中台提升到一個新的高度。(李代麗)

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2025 - www.tftnews.com All Rights Reserved