經過一二十年的 IT 建設，很多企業已經從“沒有數據”發展到了“數據太多”的階段。如今，各行各業正在由過去粗放式的增長向數據支撐的精細化運營轉型，但随之而來的是 ETL 任務的激劇膨脹，整個數倉可能充斥着幾百萬張表。無數個 ETL 任務的重複性工作，帶來的不僅是存儲問題，不斷被消耗的數據集群資源使大家面臨着更加嚴峻的挑戰，維持這些數據應用模式，傳統方法已經捉襟見肘。

自“數倉”在 1980 年開始被提出來到現在，數據基礎架構已經經曆了不同的變化，從集中式向着分布式演進。

（圖片來源：Kyligence）

集中式的基礎架構演進了幾輪，但都是把業務系統的數據從各個地方彙集過來，規整完成、标準化完成，再存起來放在一個地方。然而在過去的一到兩年，行業開始出現了一個更大的變化——尤其是去中心化，它已經成為了當下最熱且發展最快的基礎架構變化，在整個數倉的方向上，去中心化是如今雲和 SaaS 時代的未來。去中心化意味着不再按原來的數據倉庫的方式收集數據，而是能夠連接到不同的數據源，實時地把數據彙過來，去服務一定的數據服務的應用。

（圖片來源：Kyligence）

在過去企業構建 IT 基礎設施的過程中，逐漸形成了各種煙囪式的數據設施，也給大家帶來了數據孤島的問題。數據上雲、湖倉一體化都可以很好地解決了數據孤島的問題，讓企業内部的指标管理更統一，數據接口更标準，分析更自助。但一線業務和數據分析人員面臨着一些其它方面的挑戰：各企業的數字化建設在這一二十年裡有了初步的成果，但是數據量巨大。在過去的幾年裡面，企業 CIO 們是非常焦慮的。很簡單，如果你使用了一個中等規模以上的比如說 BI 或者是數字倉庫的技術棧，你一定有幾百到幾千張的報表，每張報表如果有十個以上的指标，那就意味着有幾萬甚至幾十萬的業務指标，這些口徑是不是統一？這些數據是不是在被人使用？這些相應的價值其實已經非常複雜了。

（圖片來源：Kyligence）

更可怕的是整個的過程會讓 ETL 任務和中間進行大量的膨脹。這不僅僅隻是存儲的問題，它帶來更大的挑戰在于，它有無數的 ETL 的任務其實在不斷地做着重複性的工作，不斷地消耗整個數據集群的資源。另外還存在口徑不一緻的問題，當用這些數據做一個管理決策的時候，需要有數據來參考，但各部門數據來源又可能存在分歧，比如這個部門說自己是從 Power BI 裡看到的，另外一個部門說是從數倉裡面拿到的數據，這就不能幫助企業做出高效的決策。

而每一張報表背後每運行一次，都可能涉及到幾百甚至幾千的費用，這就需要用管理的方法把這些報表的數量控制下來。所以企業需要進行數據治理，從幾十萬張報表中去掉重複、不準确的部分，與企業業務目标口徑不對齊的部分，将剩下的做一些高度的統一，甚至在部門的生産線上拉齊認知。

這種轉變，在 Kyligence 春季論壇活動的采訪中，Kyligence CTO 李揚說：“這有點像 20 年前，大家剛切換到 ERP 電子化，從一些手動的辦公能力上升到電子化的辦公能力。那個時候就有一個 Business Process Re-engineering（BPR，企業流程再造）的說法，就是說你要上這個系統先得梳理自己的業務流程。業務流程不梳理好這個系統上也上不去，也沒法提升管理能力。到現在，去中心化的發展後，一樣也需要先将企業的指标，數字化運營的思路理清楚。如果講不清業務目标、過程指标、結果指标，那就不知道拿什麼追蹤，拿什麼來做數字化的管理。”

“這時發展指标中台就能幫助用戶解決這個問題，最終出口可能還是 BI，但可以精準地以統一的口徑快速幫管理者做出決策。從我們的實踐來看，當一個企業需要進行管理改革或者業務變化的時候，指标中台就能反映出這個變化過程和結果，進而驅動整個公司的業務發展。這也是我們說的一個趨勢點：以指标為核心進行公司的指标變革。”

過去的幾年裡，很多企業都在投入建設口徑統一、自上而下的新型指标平台，來有效衡量業務經營和發展情況，真正實現數據賦能一線業務。Kyligence 在服務客戶的過程中發現，由于一些中小型企業的 IT 管理人員并非大數據專業出身，因此在維持大數據系統的時候，會逐漸發現難度越來越大。很多大的企業經過一兩年的數據治理之後大概會到 Muddy DW（混亂的數據倉庫）這麼一個階段，其數倉中有非常多的表，而且原始數據可能隻有幾千張表，但各部門、各組織都非常有欲望地生産自己的數據指标，就會形成幾百倍的放大。有的客戶原始表經過寬表、聚合表，分析表等的加工處理以後甚至可以達到百萬級别的表。這不僅會造成了數字口徑不統一，拖慢了企業的決策，更是耗費了大量的 IT 資源。

（圖片來源：Kyligence）

這種情況下，我們就需要改造它，在數據的入口保持不變的情況下，将提取指标的過程标準化，到接近服務再給到一線業務自由度再放開，所以這個過程在數據處理的路徑上是收斂的，大家可以從面積上直觀感受到背後所節省掉的 IT 的資源是非常可觀的，從整個企業對數字指标化運營的統一邏輯來說也有一個很清晰的抓手。

（圖片來源：Kyligence）

另一方面，Kyligence 核心的能力是來自于多維數據庫乃至 OLAP 的能力，所以其本質可以說是一個管理系統，即使客戶指标完全存在一個數據集裡面，包括度量和維度，再往上就是指标的平台本身，可實現自然的過渡。Kyligence 聯合創始人兼 CEO 韓卿表示指标中台有助于解決企業管理上的挑戰：“任何指标平台一定是一個管理系統，例如不同部門指标不統一、指标過時等等，都屬于管理問題。”

Kyligence 指标中台解決方案

在 Kyligence 解決方案中，提供了指标管理引擎和指标計算查詢引擎兩大核心組件，該方案可以部署在任何分布式存儲和計算環境下，比如像公有雲環境、私有雲、大數據平台等等，并支持與底層各類數據源實現對接，從而以此助力企業以指标為中心，構建整個數字化體系建設的方法論，建立數據管理共識，最終服務于企業管理目标。同時，企業在落地指标中台後，可以實現“邊使用，邊治理”，不斷挖掘數據的價值。

衆所周知，銀行業一直走在信息化、數字化的前沿。近年來衆多銀行都在大力投入建設新型指标平台來實現口徑統一的、自上而下的業務驅動的指标體系，實現數據賦能一線業務，全面推動銀行數字化經營。

韓卿認為金融行業跟其他行業有一個不太一樣的地方，在于金融行業整個 IT 建設相對比較成熟，如果完全按照過去整套的數倉理論進行構建的話，例如從整個原始數據到 ODS 到 ETL ，到數據倉庫，到 BI 端等等，經過發展論證，這将不可避免帶來數據沼澤或者說是混亂的狀态。也就是說，口徑不一緻這方面的問題變得更加突出了。以前是沒數據，現在是數據太多，需要通過指标的抓手去進行底層的梳理和相應的規整等，去做整個的數據治理來去降本增效。

例如自某股份制銀行推動集團數字化戰略以來，每個 BU 都在搞自己的數字化經營平台，導緻數據需求爆增。同時，煙囪式建設導緻口徑不一，還帶來了數據治理和人力成本等等的痛點。當 BI 平台報表就有 7000 多張，為了各類數據應用手工開發的彙總表高達 1 萬多張的時候，随着數據需求的爆發，這些數據表、ETL 作業、BI 報表的開發維護工作量非常巨大，傳統數據應用模式根本就無法持續。

（圖片來源：Kyligence）

因此，經過分析并結合業界的經驗教訓，該銀行提出了指标治理切入，通過指标治理推動數據治理，降低用戶的用數門檻，從而賦能銀行的數字化經營。在這次指标治理的思路當中，治理的重要抓手就是建設新型指标平台。在指标管理系統當中，基于維度模型，通過統一的指标定義派生、衍生，并結合全行規範化的指标需求管理，實現指标口徑的統一。而指标的加工、計算以及查詢，利用 Kyligence 的方案，基于 SQL 模版，自動進行智能建模，并完成指标的彙總、加工和計算。通過建設指标平台，将大量的指标需求轉換為指标及指标看闆的開發方式，降低業務用戶制作報表的門檻與難度。

據悉，目前該平台的日均訪問用戶量已經達到了 5000 以上，頁面查詢訪問量高達 20 萬以上，尤其是指标數量，已經高達 1.1 萬，其中大部分是用戶自己派生和衍生出來的自定義指标。新的指标應用模式，使 50% 的報表需求可以基于指标和指标看闆來支撐，同時還将 ETL 任務減少了 30% 以上。通過指标平台的建設，能夠幫助該銀行推動數據治理，基于指标平台将企業數據資産實現了廣泛的共享。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!