tft每日頭條

 > 科技

 > 數據中台行業的應用與實踐

數據中台行業的應用與實踐

科技 更新时间:2024-11-30 07:54:33

編輯導讀:自從阿裡提出中台概念後,各行各業不斷推出了中台的應用與落實,着手數據中台的建設。但是,數據中台目前還沒有一個統一的定義,對于數據中台是什麼、有什麼價值、怎麼建設,各行各業仍需結合實踐去探索。

那如果企業想要做數據項目,想要構建數據中台,該怎麼開始呢?本文作者對此展開了分析探讨,一起來看看~

數據中台行業的應用與實踐(企業想要建設數據中台)1

最近數據中台很火,接觸的很多企業都在提這個東西。然而,很多連數據基礎都沒有、仍然處在數據孤島階段的企業,上來就說我今年要做數據中台項目,這實際上是因為大家都在追熱點,而沒有真正搞明白這個名詞的含義。

那麼,數據中台到底是什麼?它和數據倉庫、大數據平台又有什麼區别呢?

首先,國内的數據中台興起,大多是因為阿裡巴巴的馬老師提出的”大中台、小前台”的口号。所以,我們先來看看阿裡對數據中台的定義。

數據中台行業的應用與實踐(企業想要建設數據中台)2

一、數據中台是什麼

數據中台是指通過數據技術,對海量數據進行采集、計算、存儲、加工,同時統一标準和口徑。數據中台把數據統一之後,會形成标準數據,再進行存儲,形成大數據資産層,進而為客戶提供高效服務。

這些服務跟企業的業務有較強的關聯性,是這個企業獨有的且能複用的,它是企業業務和數據的沉澱,其不僅能降低重複建設、減少煙囪式協作的成本,也是差異化競争優勢所在。

廣義的數據中台包括了數據技術,比如對海量數據進行采集、計算、存儲、加工的一系列技術集合,今天談到的數據中台包括數據模型,算法服務,數據産品,數據管理等等,和企業的業務有較強的關聯性,是企業獨有的且能複用的,比如企業自建的2000個基礎模型,300個融合模型,5萬個标簽。它是企業業務和數據的沉澱,其不僅能降低重複建設,減少煙囪式協作的成本,也是差異化競争優勢所在。

二、數據中台的價值

1. 數據複用

浙江移動已經将2000個基礎模型作為所有數據服務開發的基礎,這些基礎模型做到了“書同文,車同軌”,無論應用的數據模型有多複雜,總是能溯源到2000張基礎表,這奠定了數據核對和認知的基礎,最大程度的避免了“重複數據抽取和維護帶來的成本浪費。

曾經企業的數據抽取就有多份,報表一份,數據倉庫一份,地市集市一份,無論是抽取壓力、維護難度及數據一緻性要求都很高。同時,統一的基礎模型将相關業務領域的數據做了很好的彙聚,解決了數據互通的訴求,這點的意義巨大,誰都知道數據1 1>2的意思。

2. 沉澱業務模型

在企業内,無論是專題、報表或取數,當前基本是煙囪式數據生産模式或者是項目制建設方式,無法形成标準化統一業務模型,無法沉澱和共享也就無法叠代生長,從而造成模型不能真正成為可重用的組件,無法支撐數據分析的快速響應和創新。

隻有在叠代生長中的業務模型才能從最初的單一字段,逐漸完善形成為企業最為寶貴的統一模型資産和統一數據資産。

以報表為例:

企業報表成千上萬的原因往往也是沒有沉澱造成的,針對一個業務報表,由于不同的業務人員提出的角度不同,會幻化出成百上千的報表。

如果有報表中台的概念,就可以提出一些基準報表的原則,比如一個業務一張報表,已經有的業務報表隻允許修改而不允許新增,自然老報表就會由于新的需求而不斷完善,從而能演化成企業的基礎報表目錄。否則就是一堆報表的堆砌,後續的數據一緻性問題層出不窮,管理成本急劇增加,人力投入越來越多,這樣的事情在每個企業都在發生。

3. 數據驅動業務創新

我們都知道,以往的業務決策,大多是憑經驗拍腦袋的,現如今,數據的價值和重要性不言而喻。企業的管理者在做決策時,越來越想要先看數據。所以,好的數據基礎,是決策和創新的加速器。

而現在市場競争如此激烈的大環境,不但需要企業做出正确的決策,效率和執行力也是關乎存亡的,數據中台即是數據創新效率的保障。

研究過機器學習的都知道,沒有好的規整數據,數據準備的過程極其冗長,這也是數據倉庫模型的一個核心價值所在,比如運營商中要獲取3個月的ARPU數據,如果沒有融合模型的支撐,得自己從賬單一層層彙總及關聯,速度可想而知。

在如今的互聯網時代,企業都在全力謀求轉型,轉型的關鍵是要具備跟互聯網公司一樣的快速創新能力,大數據是其中一個核心驅動力,但擁有大數據還是不夠的,數據中台的能力往往最終決定速度,擁有速度意味着試錯成本很低,意味着可以再來一次。

4. 數據中台孕育新型人才

原來新員工入職要獲得成長,一是靠人帶,二是找人問,三是自己登陸各種系統去看源代碼、了解各系統底層數據結構,這樣的學習比較支離破碎,其實很難了解全貌,無法知道什麼東西對于企業是最重要的,獲得的文檔資料也往往也是過了時的。

現在有了數據中台,很多成長問題就能解決,有了基礎模型,新人可以系統的學習企業有哪些基本數據能力,O域數據的增加更是讓其有更廣闊的視野,有了融合模型,新人可以知道有哪些主題域,從主題域切入去全局的理解公司的業務概念,有了标簽庫,新人可以獲得前人的所有智慧結晶,有了數據管理平台,新人能清晰的追溯數據、标簽和應用的來龍去脈,所有的知識都是在線的,最新的,意味着新人的高起點。

更為關鍵的是,數據中台讓新人擺脫了在起步階段對于導師的過渡依賴,能快速的融入團隊,在前人的基礎上進行創新。數據中台天然的統一,集成的特性,有可能讓新人打破點線的束縛,快速構築起自己的知識體系,成為企業數據領域的專家。

三、數據中台、數據倉庫、大數據平台的關鍵區别是什麼?

認可了數據中台的價值,我們自然是想要去快速搭建,然後真正去規劃建設的時候,我們會發現,數據中台的建設和數據倉庫、大數據平台是有重合的,這就需要我們充分理解三者的區别。

1. 數據中台

  • 數據中台是企業級的邏輯概念,體現企業 D2V(Data to Value)的能力,為業務提供服務的主要方式是數據 API;
  • 數據中台距離業務更近,為業務提供速度更快的服務;
  • 數據中台可以建立在數據倉庫和數據平台之上,是加速企業從數據到業務價值的過程的中間層

2. 數據倉庫

  • 數據倉庫是一個相對具體的功能概念,是存儲和管理一個或多個主題數據的集合,為業務提供服務的方式主要是分析報表。
  • 數據倉庫是為了支持管理決策分析,而數據中台則是将數據服務化之後提供給業務系統,不僅限于分析型場景,也适用于交易型場景;
  • 數據倉庫具有曆史性,其中存儲的數據大多是結構化數據,這些數據并非企業全量數據,而是根據需求針對性抽取的,
  • 因此數據倉庫對于業務的價值是各種各樣的報表,但這些報表又無法實時産生。數據倉庫報表雖然能夠提供部分業務價值,但不能直接影響業務。

3. 大數據平台

  • 大數據平台是在大數據基礎上出現的融合了結構化和非結構化數據的數據基礎平台,為業務提供服務的方式主要是直接提供數據集;
  • 大數據平台的出現是為了解決數據倉庫不能處理非結構化數據和報表開發周期長的問題,所以先撇開業務需求、把企業所有的數據都抽取出來放到一起,成為一個大的數據集,其中有結構化數據、非結構化數據等。
  • 當業務方有需求的時候,再把他們需要的若幹個小數據集單獨提取出來,以數據集的形式提供給數據應用。

綜上,我們會發現,數據中台是在數據倉庫和大數據平台的基礎上,将數據生産為為一個個數據 API 服務,以更高效的方式提供給業務,本質是一個構建在數據倉庫之上的跨業務主題的業務系統。

所以,我們會發現,不論要做哪一個數據項目,數據才是核心,統一數據倉庫、主數據是基礎。隻有打通各業務系統的數據孤島,将數據标準、口徑、模型、存儲統一,形成具備完整性、規範性、一緻性、準确性和及時性的高質量數據,才能逐漸釋放數據價值。

4. 三者的發展關系

以下這張圖很好的展示了這三者的發展關系

數據中台行業的應用與實踐(企業想要建設數據中台)3

數據中台可以說是幾十年來企業數據管理發展的産物,是聚合和治理跨域數據,将數據抽象封裝成服務,提供給前台以業務價值的邏輯概念。

從阿裡數據平台的更叠曆史中也不難看出,在經曆了傳統數據庫時代到大數據平台再到數據中台,數據中台絕不是一蹴而就,其建設需要有一定的底子!

四、那麼什麼樣的企業适合建數據中台?

1. 從數據成熟度來看:

  • 具有良好的數據底子,擁有豐富的數據維度
  • 企業的各業務闆塊都有數倉和報表,需面向集團構建統一的數據管理平台
  • 多個大數據場景,例如:阿裡、淘寶、天貓、支付寶等多個業務闆塊的場景

2. 從業務性質來看:

  • toC業務,且業務運營非常依賴用戶/客戶數據
  • 企業内部運營多業态/品牌/産品的客戶數據,需要打通數據共享。
  • 供應鍊特别複雜的企業,需要數據驅動優化
  • 生産制造業,生産線上的數據需要數據中台來整合服務化
五、如何進行數據價值變現?

無論是數據中台也好,數據倉庫也好,還是數據平台,最終都是為了讓數據的價值更好的作用于業務、經營和管理上。

這三種方案都具有一定的适用性,需要結合企業不同的發展階段來判斷,具體:信息化水平,數據體量、業務性質、還有數據成熟度等。

如何應用數據?這裡結合帆軟14年來為超萬家企業提供的大大小小的數據應用解決方案,給出個人的一些想法。大緻分為幾個階段:

首先,把數據管理起來,形成統一數據資産

(數據資産不等同于數據,數據資産是唯一的,能為業務産生價值的數據)

數據中台行業的應用與實踐(企業想要建設數據中台)4

其次,将數據可視化

在我們将數據自動化、可視化的呈現出來的過程中,我們能夠充分釋放數據的信度、效度、準确度方面的價值。這也是為什麼越來越多的傳統企業在進行數據項目規劃時,通常會先做一個叫做”管理駕駛艙”的東西。

其本質就是,通過上層呈現所要保證的一緻性和規範性,倒逼下層的數據管理、數據治理,從而逐漸開展數據分析輔助決策、數據驅動業務等。數據可以告訴決策者一些潛在的規律,以數據來證明或判斷決策。

數據中台行業的應用與實踐(企業想要建設數據中台)5

帆軟基于企業經營構建的數據管理體系

第三個階段:利用數據優勢,通過算法模型挖掘數據背後規律

很多時候,即便數據質量非常完備了,但因為依賴于統計學的數據分析隻能對曆史的、以往發生過的事情做解釋,所以往往總是會慢半拍。而數據挖掘、機器學習,這些近幾年才流行起來的技術,可以充分利用海量的數據,通過算法模型去挖掘數據背後的規律,從而輔助我們提前預測或者個性化推薦。

以往我們隻會用數據來證明我們曆史的決策對錯,現在我們用數據來引導我們做出對的決策。基于數據資産催生的人工智能,将數據進行再融合形成新的數據,源源不斷給我們提供新的業務視角,讓我們不斷創新、不停去嘗試。

當我們逐漸依賴數據機器人的指令,形成數據服務思維和習慣,讓業務與數據形成循環活起來,讓它成為業務的一部分,同時讓機器智能成為決策環節,運營就可以智能化,即智能化的數字業務系統。

最後,想必對于各種企業要做數據項目,想要構建數據中台,我們可以形成一個優先級順序。

  1. 以管理駕駛艙為驅動的數據倉庫建設
  2. 面向各業務主題的全面數據治理
  3. 非結構化數據 海量數據加速的大數據平台
  4. 把數據變成個性化服務的數據中台

作者:miao君,專注企業數據化運營和數字化轉型,公衆号:商業智能研究,分享有關企業數據建設的一切知識!

本文由 @miao君 原創發布于人人都是産品經理,未經作者許可,禁止轉載。

題圖來自Unsplash,基于CC0協議。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved