tft每日頭條

 > 科技

 > 怎麼用聚類分析數據挖掘

怎麼用聚類分析數據挖掘

科技 更新时间:2024-08-04 13:27:18

編輯導語:聚類分析是對樣本或指标進行分類的一種統計方法,它能幫助我們窺探不同人群之間的數據差異,也被應用于基于定量數據的用戶分類實踐中。本文作者結合某金融借貸服務流程再設計中的用戶分類案例,闡述了聚類分析在用戶畫像中的應用,一起來看一下吧。

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)1

聚類分析(Cluster analysis)是對樣本或指标進行分類的一種統計方法,屬于探索性的數據分析方法。

聚類分析将看似無序的對象(如桌子、人、樹木、情緒、觀念等)進行分組、歸類,按照個體或樣本的特征将其分類,使得同一類别下的個體具有盡可能高的同質性,而不同類别/組别之間則是盡可能高的異質性,以更好地理解研究對象。

物以類聚,人以群分。借助聚類分析算法,可以幫助我們窺探不同人群之間的數據差異(如圖1)。因此,此種方法也被應用于基于定量數據的用戶分類實踐中。

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)2

圖1:二維(2個變量 )下的聚類分析示意圖

然而,由于聚類分析所使用的數據并沒有明确的分類,聚類分析後的類别數量也是未知的。

即:我們不知道用來聚類分析的樣本大概有什麼分布,也不了解系統會将其分成哪幾類,事先可能也沒有任何有關類别信息供參考。

因此聚類分析更像是一種建立假設的方法,而對相關假設的檢驗還需要借助其它統計方法,在用戶畫像的生成過程中,建議将聚類分析當做一種探索分類結構、提供數據支撐的手段,而非(也不可能)完全依賴于聚類分析來形成最終用戶分類結論。

以下結合某金融借貸服務流程再設計中的用戶分類案例,來具體闡述聚類分析在用戶畫像中的應用。

01 聚類分析适用的數據類型

聚類分析所應用的數據類型主要為多維度、連續/等級/分類變量,且要求數據量足夠大、客觀可測量,因此,較為适合應用于研究者已擁有海量、多維度用戶客觀數據的情況。

數據來源如:已經運營一段時間的産品後台數據、電商浏覽購買行為數據、客戶CRM數據、微信公衆号後台數據等。

基于這些數據,我們可以以用戶實際産生的行為數據(如:點擊次數、轉發次數、使用頻率等)、人口學資料數據等客觀數據将用戶分成數類。正因此,聚類分析被廣泛應用于消費者行為研究、細分市場研究、電子商務運營策略研究等關注人群、市場和消費行為的研究項目中。

聚類分析介入用戶分類的程序:在用戶研究工作中,用戶分類可以基于定性或定量數據來進行,但最終會收斂為一個具體、明确、符合經驗的分類模型,使之能夠服務于未來的産品設計與運營。如圖2:

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)3

圖2:2019微衆銀行用戶調研之人群畫像

僅依靠數據無法幫助我們定義和解釋不同類别下的樣本輪廓,也無法将統計結果直接運用于生産設計和運營活動中。

因此聚類分析的方法應當結合前後期的定性研究(如産品走查、用戶訪談、内部訪談、觀察、工作坊等)和定量研究(問卷調查、攔訪調研、接受度測試等)而進行。在本案例中,研究者采取了先定性,後聚類,再補充定量的方式,來形成和運用聚類分析的結果,如圖3:

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)4

圖3:金融借貸服務流程再設計-用戶畫像創建流程

再者,從機器學習角度上來說,聚類分析是一種無監督學習unsupervised learning,根據不同的數據選取策略和不同的聚類算法,系統會給出不同的分類模型。

至于哪個模型是貼合研究實際的“最優解”,需要研究者自行決定。這意味着在做用戶分類時,我們所依賴的工具需要在研究者所提供的浩如煙海的數據當中根據數據的分布形态,逐漸探索出數據的分類形态,因此最終數據分類的結果質量對研究者對數據的理解、把握和解讀有着更高的要求。

這要求研究者在使用數據進行聚類之前,應當對數據的業務内涵具有相當程度的把握和敏感性。

02 聚類分析用于用戶分類的操作流程

1)樣本數據選擇

根據前期的定性研究和已經生成的假設,選擇能夠用來描述和定義用戶的數據維度。在本案例中,通過定性訪談、内部訪談等研究,研究者已經得知,不同用戶在借貸周期、借貸金額、還款履約行為、猶豫周期上存在着很大差别,因此,研究者可以有目的地選擇可能有用的數據。可以列出所需維度的數據清單,向數據負責人獲取。

在選擇數據時,也可以查閱相關文獻,如行業競品常用的數據/參數模型,建立對研究所需數據标簽的感知。圖4為本案例在選擇樣本數據時參考的某銀行産品用戶标簽體系。

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)5

圖4:某銀行金融産品用戶标簽體系

2)樣本數據清洗

這一步驟的目的在于去除缺省值、異常值、不合理值、非研究範疇值,研究者可以根據項目的實際需求,去除可能成為幹擾項的數據。如:對收入進行标準化處理,剔除3個标準差外的異常值,去除超越研究範疇(如60周歲以上)的樣本。

注意保存清洗邏輯并在團隊成員間共享,以便随時恢複被誤删除的數據。

3)數據編碼及标準化

涉及到數據類型的轉換和數據可讀性的調整,由于聚類分析需要用到一定規模的連續變量和分類變量,對于一些界定模糊的變量,需要團隊成員商議後給予其明确的數據類型定義,并給出相應的定義值。此外,注意保存這些編碼邏輯,業務數據往往夾雜着諸多術語和縮寫,研究員需将其轉為易讀的符号并加以記憶。

如圖5,本案例中,申請類型、進件渠道、還款方式屬于分類變量,B卡評分描述了用戶的信用程度,則可以定義為等級變量或連續變量。

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)6

圖5:金融借貸服務流程再設計-原始數據編碼邏輯片段

此外,為了順利進行聚類分析算法的運轉,需将不一緻的數據單位調整為一緻的、标準的計量單位,如:将“利率”統一轉化為“月利率”或“年利率”。

4)變量處理與提取特征

這一步驟目的在于使冗餘的數據得到凝縮和降維。

原始變量可能會有幾百上千的維度,但最終用于聚類分析的變量需要能夠很好地描摹用戶行為,有時研究者需要對數據進行一些簡單加工,得到一些更為關鍵的變量。如:研究者可以用最終辦理進件時間減去首次用戶問詢時間,得出中間的差值,該變量(猶豫時長)可以用來形容用戶在金融借貸産品中的消費風格。

此外,聚類分析算法要求變量與變量之間具有較強的獨立性,因此,需要研究者盡可能地整合相關性較大的變量,更嚴謹的做法則可以借助關聯規則分析發現并排除高度相關的特征,或通過主成分分析進行降維。

5)選擇聚類分析算法

在 SPSS統計分析軟件中,常用的聚類分析算法包含二階聚類 twostep、K-均值聚類 K-means、系統/層次聚類 Hierarchical。不同聚類分析的算法邏輯不同(本文不再贅述)所需要用到的變量類型也有所不同,适用的樣本群體也略有差異。研究者可根據項目的實際需要來選擇相應的算法。如圖6:

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)7

圖6:根據項目實際需要選擇相應算法

本案例中,研究者選擇了二階聚類算法,這種算法無需人為設定最終分類個數,有助于實現對人群樣本聚類的探索。

6)選擇變量進行聚類——檢驗模型效果

這一步驟是漫長的探索過程,需要研究者不斷嘗試,選擇适量的變量進行聚類分析運算,并檢視模型質量和前期研究的适配度。研究者往往需要嘗試幾十、幾百次的更換變量、修改參數,才能得到一個聚類質量較高、模型解釋力強的分類模型。

本案例中,研究者選擇了B卡評分、還款方式、累計逾期次數、利率、使用率(用款金額占授信額度的占比)、收入、月利息共7個變量,包含連續變量和分類變量,最終得到圖7的聚類模型。研究者可以在“模型摘要圖”打開模型浏覽器,看到聚類質量、聚類大小等圖表形式結果(圖8)。

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)8

圖7:模型摘要圖

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)9

圖8:聚類質量、聚類大小圖表

03 聚類分析結果應用

得到聚類分析的模型結果,通過模型中呈現的不同變量(含用于聚類分析的變量,和用于描述各分類的其他變量)的數值及分布,可以描述出不同類别用戶的特征,而每一類用戶會有個别較為突出的顯著特征,如圖9:

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)10

圖9:某銀行金融産品用戶标簽體系

通過提取不同類别用戶的關鍵特征,結合聚類分析前所獲得的定性調研結果及經驗,研究者與行方共同探讨定義出了這5類用戶的内涵與外延。如圖10:

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)11

圖10:用戶的内涵與外延

為了便于業務理解和應用,進一步加工該分類,将這五類用戶放在“風險-收益”兩個獨立維度中進行描述,如圖11:

怎麼用聚類分析數據挖掘(聚類分析在用戶分類畫像中的應用)12

圖11:用戶進一步分類

如此,業務方得以了解各類用戶對于銀行借貸金融業務的價值與風險、期待與需求,基于此描述,我們可以進一步制定針對不同用戶的營銷和服務策略。

值得注意的是,對最終與研究假設/直覺拟合度較高的模型,最終需要結合已知的定性研究結果和業務相關人員共同闡釋,方可使機械的模型具備生态效力和業務解釋力。

得出用戶分類的基礎畫像後,可以再次使用訪談、工作坊、定量問卷等方式加以補充描述,本文不再贅述。

作者:何龍荃,ISAR公司資深用研

來源公衆号:伊飒爾UXD學院,專注用戶研究和用戶體驗設計

本文由人人都是産品經理合作媒體 @伊飒爾UXD 授權發布,未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved