一、數據中台的定義
數據中台被譽為大數據的下一站,由阿裡興起後,百度、美團、京東等知名企業都紛紛調整組織架構,發力技術中台與數據中台建設。似乎人人都在提數據中台,但數據中台到底是什麼?數據中台是一種數據管理體系,在企業中是獨立的部門,為數據挖掘而建,最重要的目标是支持各部門業務數據和提供計算服務。數據中台的本質就是“數據倉庫 數據服務中間件”。這麼說是不是難以理解?我們用養生茶來舉個例子。門店前台(業務部門)銷售供各種效果的花茶,比如美白祛斑、排毒養顔、補氣養血、健脾理氣(各種業務應用)。但這些都需要專業員工(技術部門)在店鋪後台精準抓配,否則性質相悖或比例不合理可能會适得其反。但是當客流越來越多,等待抓配的時間過長會造成大量的客戶流失。這時店長則對工作流程進行優化,讓後台員工提前按不同功效所需的比例抓取稱重做成小茶包(數據産品),顧客到店後若需要三周的美白祛斑和補氣養血便可以各取三袋包裝(業務應用)。
後台員工制作小茶包的過程便是構建了一個數據中台,它讓産品更快到達前台顧客手中并獲取價值。 ThoughtWorks 技術雷達峰會上,數據和智能總監史凱總結說,“數據中台是聚合和治理跨域數據,将數據抽象封裝成服務,提供給前台以業務價值的邏輯概念”。
二、數據中台的優勢
數據中台要做四個方面的工作分别是“采集”、“存儲”、“打通”、“使用”。采集就是要采集各條業務線的業務數據、日志數據、用戶行為數據等有用的數據。存儲就是要用更加科學的方式存儲數據,一般采用三層建模的方式,讓收集上來的數據形成公司的數據資産。打通就是要打通用戶的行為數據和用戶的業務數據,如電商用戶的浏覽,點擊行為和用戶的支付業務數據,就要做到打通。使用就是就打通的數據賦能業務人員,領導展進行決策,做到數據反哺業務。
其核心功能是“數據彙聚整合”、“數據提純加工”、“數據服務可視化”、“數據變現”,使數據應用變得更加方便快捷。同時由于數據中台項目成果能見度高、容易出成績,對現有組織框架影響小,因此迅速被企業所認可。
三、如何構建數據中台
按照數據倉庫規範分層開發模型,實現數據的标準化,多采用維度建模。數據中台中的模型具有通用性,一些數據挖掘模型如果使用頻次較高,也可以沉澱到數據中台中。數據建模一般分為2個步驟:确認事實表,分析業務的生命周期,明确業務的關鍵步驟。在進行指标定義的時候是否覆蓋了本主題語中的全部指标,判斷哪些指标可以通過加減乘除計算得到等。确定維度,粒度是模型設計的關鍵,太細的粒度不利于上層數據分析彙總,太粗的粒度又不能滿足前段多維度個性化查詢需求。基于此,模型設計時候一般考慮分層,層級越往後,粒度越粗。冗餘維度也是需要考慮的,設計冗餘的維度可以避免統計中過多的關聯導緻複雜的計算邏輯,影響性能。
數據倉庫中已構建了一些模型,但是隻有在數據孤島被突破時,這些模型才能被稱之為數據資産。在進行指标庫的規範化之後,才可以将其組合為個性化的中台組件,以滿足立足于業務的指标需求以及資産管理。
數據治理是一整套完整的組織、制度、技術管理行為。數據治理項目的範圍通常包含:組織建設、數據安全、數據開發、數據質量、元數據管理、數據價值等幾個模塊。通過統一數據口徑,打破數據隔閡,疏通原本擁堵在各個業務系統的數據堰塞湖,讓其彙流到數據中台的汪洋大海之中。
數據中台最重要的就是要對外提供統一的服務能力。數據服務包括提供給開發者,讓開發者能夠快速、簡單地訪問數據服務;對于業務分析人員可以讓他們輕松地進行算法分析,包括模型管理、可視化編排流程,算法模型發布等功能。
關于MagicBI數預智能MagicBI數預智能成員主要來自微軟、阿裡、百度、字節等公司的⼤數據團隊,我們的使命是“簡便每⼀次分析,隻為每⼀位⽤戶”,公司主要做下⼀代的搜索式分析,幫助企業打造⼀站式企業搜索百科,通過類似百度搜索的⽅式查詢數據,應用可解釋AI、自然語言分析等技術,實現數據分鐘級地⾃動化洞察,⽆需過多培訓,同時打通PC端與移動端,支持語音輸入,滿足任何⼈、任何時間、任何地點、任何方式進⾏數據洞察,實現企業的數字化升級,業務⼈員不⽤學SQL,也能做分析,提⾼業務決策效率。
,
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!