編輯導語:指标建設對于企業的業務發展十分關鍵,是衡量業務效果的主要依據,本篇文章作者結合自身經驗分享了指标的設計與加工過程,詳細地講述了其基礎概念和設計加工方法,以及設計加工過程中的注意點,一起來學習一下吧,希望對你有幫助。
一、指标建設的必要性
1. 什麼是指标
指标是可客觀描述某個事物某個特征的可量化的數字度量,如用戶最近30天購買次數,某商品最近30天銷售額等。
指标常從多個維度來描述,如某地區的新增用戶數、線上線下的新增用戶數,維度讓指标更加具象與豐滿。
2. 建設背景
大數據時代數字化轉型背景下,企業所需要的往往不單單是數據,而是數據背後映射的業務洞察,相比較數據我們更加關心的是其體現的業務價值以及覆蓋的業務場景。
龐大的數據隻有和業務相結合轉化為信息,經過處理呈現才能真正體現他們的價值。
指标作為數據計算的結果,是直接反映衡量業務效果的依據,應用在企業的方方面面,如數據報表、分析平台及日常取數等。
1)數據報表
它最直接的指标結果查看的載體,作為業務部門的人,可能每月或者每周甚至每天都要輸出業務報表,不管是傳統的紙質文檔,線上的excel還是後來的報表工具,最終目的都是一樣,我們希望通過報表實現數據驅動業務精益增長的目的。
2)分析平台
作為數據計算結果多樣化展示的平台,不管是可視化大屏、還是其他一些BI系統,都通過數據計算結果的呈現更好地輔助業務了解行業現狀。
3)日常取數
有數據在哪裡,便要去哪裡拿,取數的過程,往往是基于不同的業務場景,滿足不同的業務需求,對數據進行加工計算獲取,當然在這過程中,數據計算結果往往需要保證較高的準确性和一緻性。
3. 建設過程中遇到的問題
數據指标作為數據計算的結果,是企業數據價值的直觀體現,在業務擴張、指标計算需求的暴增背景下,随之而來的指标管理問題也越來越多:
- 指标管理不統一:管理機制不統一、分散管理、重複建設、成本高、費時費力;
- 指标口徑不一緻:同名不同義、同義不同名、計算邏輯複雜多變、開發技術門檻高,過程不可視;
- 指标流程不規範:沒有統一的流程控制,開發和使用人員分離,溝通成本高、周期長,結果可信度不高。
4. 解決方案
要解決以上問題,幫助企業建立指标體系,我們需要從以下三個方面入手:
1)指标平台
建立統一的指标管理平台,集中管理數據指标,沉澱指标資産
2)指标體系
有一套标準規範的指标搭建方法論,搭建企業級數據指标體系
3)流程管理
搭載統一的流程控制機制,全面把控數據指标的生命周期
如果是平台、流程是基礎,那指标内容的搭建便是關鍵。指标體系的搭建作為整個指标管理的核心,為指标管理提供最堅實的基礎支撐。
二、指标建設五步法總結以下五個步驟,從0到1搭建指标體系:
1. 明确目标
搭建指标體系的第一步就是明确搭建目标,大部分企業由于目标不清晰造成指标管理混亂,通過指标體系的搭建,我們要實現“一個指标、一個口徑、一次加工、多次使用”,做到統一指标口徑,減少重複工作,結果統一輸出。
1)統一關鍵指标
創建公司級統一的關鍵指标,幫助企業通過統一的指标框架來助力業務業務擴張。
2)減少重複工作
為每一個成員提供統一的平台來協同,了解企業整體數據業務情況,減少數據團隊重複性工作和時間花費
3)結果統一輸出
針對指标結果,提供一套能将指标和上層應用結合起來的輸出方式,發揮數據指标最大的價值
2. 需求分析
明确目标之後,我們開始着手去構建指标體系,在設計指标之前,我們首先要進行需求分析。
同一個企業,不同的業務線、不同的部門,甚至是同一部門的不同人員,提出來的指标計算需求都會有所不同。所以在需求分析的階段,我們要做到基于不同行業的業務情況,分析數據指标需求,合理劃分主題,更好地為後續指标設計提供業務支撐。
1)需求調研
(1)主導人
數據分析師,數倉架構師;
(2)調研方式
列好提綱,面對面訪談;
(3)調研内容
- 指标應用場景調研:指标應用在哪些業務場景中,應用方式有哪些(BI使用、業務人員自行取數、數據門戶展現等)
- 指标來源調研:指标加工的源數據來源于哪些系統,數據是否都采集上來,分為哪些業務域、業務過程。
- 指标現有情況調研:現在有哪些指标,缺少多少,能滿足百分之多少的業務場景。指标建設現在遇到的問題是什麼。之前的指标加工是否規範,是否需要調整。
- 指标需求調研:了解客戶需要完成的指标加工範圍。
(4)産出
訪談彙總結果與需求收集表。
2)需求分析
(1)目标
梳理需要加工的指标,指标業務口徑,指标更新頻率;
(2)主導人
數據分析師;
(3)産出
指标需求表;
數據分析師基于業務部門、科技部門的業務場景和需求,挖掘和提煉具體的指标、業務定義、優先級、實現難易程度、大概的實現方式。
并根據指标數量、難易程度、數據依賴關系,劃分初步的階段性計劃,一期完成哪些指标、給哪些業務場景用,二期完成哪些指标,給哪些業務場景用。
3. 指标設計
1)指标拆解
(1)主導人
數據分析師;
根據上述的業務需求分析,按照從上往下的方式對指标進行分級拆解,看需要的指标需要由哪些指标加工出來,各個指标的關系,,明确各指标之間的關系,可層層溯源,一般分為3層:
- 一級指标:公司戰略層面的指标,全公司認可的衡量公司業務目标的核心指标,如某大業務線産品收入、累計用戶數、新增用戶數、付費用戶數等,面向管理層。
- 二級指标:業務策略層面的指标,如産品收入拆解到各個産品線,累計用戶數拆解到各個渠道,面向不同業務線。
- 三級指标:業務執行層面的指标,對二級指标進行路徑拆解,如産品收入需要拆解到付費用戶數、客單價上面。付費用戶數又可以拆解為新增付費用戶數、複購用戶數,根據這些指标可以不斷優化運營或銷售策略,面向業務部門。
2)指标建模
(1)主導人
數倉架構師;
根據對業務需求的理解、數據情況的探查,劃分對應的業務域、業務過程、維度、度量、統計周期等,搭建指标建設的框架。
(2)數據來源
數據指标遵循ODS-DWD-DWS-ADS的數倉設計架構,主要基于DWS輕度彙總表來加工;
數據架構師根據指标需求,看企業數倉設計的完善性,是否需要增加底層的明細表或彙總表,将基礎表梳理加工好之後,開始指标的加工。
(3)指标定義
我們先了解下指标的的組成:
指标= 統計周期 維度 過濾條件 度量
- 維度:描述性數據,指标統計的環境,如地區、個人賬戶、産品名稱、産品類型、銷售渠道;
- 度量:數字性數據,銷售金額、貸款金額、銷售數量、如賬戶餘額、國債餘額、基金餘額;
- 統計周期:計算指标的時間範圍,如近30天、當年、當月、近7天、上月、上周、去年;
- 過濾條件:計算指标的條件限制,如正常狀态、有效狀态、全國範圍内,西湖區的、工作日的。
統計周期、維度、度量是組成的必要條件,過濾條件根據業務場景而定。
(4)維度與度量
在指标加工前,需要先定義數據模型,數據模型中定義“維度”與“度量”,因為這兩個是組成模型的基礎必要條件。
數據模型按照數倉的業務主題來創建,如存款業務、貸款業務,可遵循星型模型或雪花模型,建立事實表與維表的關聯關系,其可以是多張表的關聯關系,也可以是單張表。表确定好之後,選擇“維度”與“度量”,作為後續指标加工的基礎。
我們以一個銀行“存款業務模型”的模型來看,其是圍繞賬戶存款餘額明細數據建立的存款業務主題數據模型。
數據模型建好之後,選取維度與度量,作為後續指标加工的基礎。
4.1 維度
選取數據模型中,作為環境描述的字段作為統計的維度。
4.2 度量
選取數據模型中,後續要加計算的數值型字段作為度量。
(5)統計周期
統計周期也是指标必不可少的條件,描述一個指标應該指定其時間周期,比如累計交易次數、最近30天交易次數、最近90天交易次數等。一般系統會内置常用的統計周期,也會支持用戶自定義統計周期,統計周期需要特别注意的便是日期格式了,比如yyyyMMdd,還是yyyy-MM-dd。
根據以上内容,已準備好數據模型,和指标的三要素:維度、度量、統計周期。
3)指标分類
袋鼠雲指标管理産品按照指标加工類型,分為原子指标、派生指标、複合指标、SQL指标。
- 原子指标:某一業務行為事件的度量,統計數據來源,如交易筆數、交易金額、交易用戶數、賬戶餘額。
- 派生指标:基于原子指标進行維度、統計周期的派生。派生指标=統計周期 派生維度 過濾條件 原子指标,如近7天賬戶消費金額,去年賬戶餘額總和、昨天産品銷售金額等。
- 複合指标:多個指标的加減乘除運算,如平均交易額、資産負債率等。
- SQL指标:通過自定義SQL生成的指标,适應複雜的指标配置邏輯,滿足開發人員不同的指标開發場景。
4)指标内容
(1)主導人
數據分析師、數倉架構師;
基于指标需求、指标建模、指标分類确定指标的具體内容,作為指标開發的指導。
- 指标名稱:指标中文名稱;
- 指标編碼:指标英文名稱,也是存表的字段;
- 指标目錄:指标所屬類目的分類;
- 指标分類:屬于原子、派生、複合、SQL指标的哪種;
- 業務口徑:指标的業務口徑,如最近30天付費用戶數指最近30天發生過一筆及以上購買交易的用戶數量之和;
- 技術口徑:由哪個指标、哪些維度加工而來;
- 指标責任人:該指标的負責人,可作為該指标的維護人與告警接收人;
- 更新頻率:日更新、周更新、月更新等;
- 描述信息:對指标的額外描述信息。
5)指标評審
(1)主導人
數據分析師、數倉架構師;
指标模型設計完成、指标内容設計完成後,數據分析師與數倉架構師召開指标評審會議,面向數據開發、業務人員進行評審。
- 說明每個指标的定義、業務口徑、技術口徑、更新周期等
- 說明各個數據指标的類型,以及派生指标由數倉的哪些數據模型加工,其派生維度是什麼,統計周期是什麼。複合指标的派生維度,由哪些指标加工而成。
評審後進行補充完善,之後進入指标開發階段。
4. 指标開發
1)指标加工
我們來看下各類指标如何加工。
(1)原子指标
原子指标來源于數據模型,是從上述“數據模型”中直接讀到的度量,是數據模型表中的一個字段,如上述的“存款業務模型”中,可以把“存款利率”、“存款彙率”、“賬戶餘額”、“固定餘額”、“分成比例”等度量作原子指标。
選好度量後,同時需要選取描述該度量的維度,這些維度用于描述度量。如将“賬戶編号”、“機構編号”、“客戶經理編号”、“客戶編号”、“賬戶狀态”等作為維度,則可以表示各個賬戶的存款賬戶餘額、各個客戶的存款賬戶餘額、各個分行/支行的存款賬戶餘額,各個客戶經理管理賬戶的存款賬戶餘額等。
所以原子指标是數據模型中維度和度量的組合映射,非一個有真實含義的指标,因為它表示的“客戶”的“賬戶餘額”,還沒有加上統計周期與計算邏輯,比如客戶當日賬戶餘額、客戶最近一年平均賬戶餘額等。但原子指标是後續派生、複合指标加工的基礎,不可缺少。
(2)派生指标
派生指标是基于原子指标進行維度與統計周期的派生,并設置計算邏輯。
如“當日存款賬戶餘額”,可基于原子指标“賬戶餘額”來進行派生,維度選取“賬戶編号”、“機構編号”、“客戶經理編号”、“客戶編号”,計算邏輯選取“求和”,統計周期選取“當日”,表示各個賬戶的當日存款賬戶餘額、各個客戶的當日存款賬戶餘額、各個分行/支行的當日存款賬戶餘額,各個客戶經理管理賬戶的當日存款賬戶餘額等。
派生指标中内置的計算邏輯有:求和、均值、計數、去重計數、最大值、最小值等,也可以自定義函數。
内置的統計周期有:當日、當月、當年、去年、最近7天、最近30天、曆史截止當前,也支持自定義。
(3)複合指标
複合指标是基于原子指标或派生指标進行的加減乘除運算。
如“當日基金賬戶利潤”複合指标,可基于複合指标“當日基金賬戶利潤率”、派生指标“當日基金賬戶餘額”加工而來。
在“當日基金賬戶利潤率”>1時,
當日基金賬戶利潤=當日基金賬戶利潤率 * 當日基金賬戶餘額
在“當日基金賬戶利潤率”=1時,
當日基金賬戶利潤=(當日基金賬戶利潤率 0.05)* 當日基金賬戶餘額
複合指标的維度,需為加工公式中用到指标的公共維度,可以計算這些維度的該複合指标。如“當日基金賬戶利潤率”指标的維度有“機構編号”,“當日基金賬戶餘額”指标的維度有“賬戶編号”、“客戶編号”、“機構編号”、“客戶經理編号”,則基于這2個指标加工的複合指标“當日基金賬戶利率”隻能有其公共維度“機構編号”,可查看各個機構的當日基金賬戶利率。
高級設置:公式中用的來源指标可設置指标數據的過濾條件,加工後的複合指标可取聚合函數,根據實際情況使用即可。
以上便是複合指标的加工。
(4)SQL指标
當存在以上通過内置函數、内置運算符加工不出來的邏輯較為複雜的指标時,可采用自定義SQL指标實現。隻要遵循正确的語法結構,便可以靈活加工。
指标加工完後,後續可在指标血緣關系中查看指标間的上下遊關系。
2)指标落庫
指标邏輯配置成功後,每個指标可配置其更新周期,調度策略配置完成後,進行指标發布。發布後便按照設定周期周期性加工。同時,也支持手動立即更新。
指标更新後,會将每個指标和其維度存儲在Hive表中,每個指标和其維度存儲一張單獨的表。
3)指标運維
指标上線後,運維同學便需要進行指标的日常運維,觀察指标運行情況,及時處理報錯情況,保證指标的正常加工和線上業務可用。
5. 指标應用
指标常應用在數據門戶、BI數據分析、可視化大屏展示,業務人員數據分析中。那産生的指标怎麼與上層應用對接呢?
1)指标API
通過API服務将指标平台加工好的指标,提供給上層的展示、分析系統。
在創建API時定義需要查詢出去的指标,多個指标的公共維度作為該API的入參。通過API接口,查詢對接的指标結果。
外部系統調用API的url,用API-TOKEN認證便可以進行數據的查詢。
2)自助取數
在自助取數平台中,可直接查詢指标平台定義好的維度、指标,業務人員靈活拖拉拽,實現在線取數。并且取數邏輯可沉澱成固定的報表模闆,報表可周期性自動生成數據,業務人員屆時拿結果數據即可。
本文由 @木研 原創發布于人人都是産品經理,未經許可,禁止轉載。
題圖來自 Unsplash,基于 CC0 協議。
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!