tft每日頭條

 > 生活

 > 應該從哪些分析和評價算法的性能

應該從哪些分析和評價算法的性能

生活 更新时间:2025-01-24 13:25:06

按照服務分的更新機制,服務分可以分為兩類:一類是每次服務後更新,一類是定期更新。在介紹了服務分的設計場景和思路之後,本文作者對服務分策略設計的具體方法展開了分析和總結,包括:歸一化、權重設計和歸因。

應該從哪些分析和評價算法的性能(評分算法3)1

一、服務分分類

1. 服務後更新

服務後更新顧名思義,比如每次打車後根據用戶的評價進行服務分的調整,滴滴就是這麼做的。記不清哪裡看的了(反正肯定不是兩年前看的内部文檔),滴滴的服務分主要部分會根據好評、差評和默認好評去打分,每次用戶打分會對應分值的變化。

這樣的好處是可以及時更新,服務者會有及時反饋。

當然,局限性也很明顯。乘客的好評不能完全評價司機的服務能力,比如司機接單少業績差、高峰期不願意出門等。而如果平台派單問題導緻乘客體驗下降,差評由司機承擔也不公平。與此同時,全靠好評會造成司機索要好評的問題,對服務質量也有影響。

2. 定期更新

定期更新是本文的重點,也是上一篇文章重點讨論的内容。因為用了更複雜的計算機制,可以涵蓋更多的數據,比如上一篇文章提到的,服務分的三部分構成:員工屬性、SOP執行情況、業績結果。這裡面涉及了多種策略設計的方法。

二、歸一化

員工屬性和SOP執行情況的數據各種各樣,比如有沒有某個資格證是0和1;某個資格證分等級,則可能是(1,2,3);電話的通話時長是一個大于等于零的小數;服務次數是一個非負整數。

為了将這些不同類型的數據融合,需要進行歸一化,這些方法我在《産品邏輯之美》中也寫過。

線性函數是一種簡單的歸一化方式,就是直接除以數據中的最大值,讓所有值都在0~1之間,并保留原有的變化性質。用公式表示為:

應該從哪些分析和評價算法的性能(評分算法3)2

這樣的處理方法受極值的影響比較大。而且如果大部分分值比極值低很多,則低分值将沒有區分度,以閱讀量為例,如果最大閱讀量的文章的閱讀量為10萬,而大部分文章閱讀量集中在500左右。這樣直接除以極大值處理後,大部分内容分值都趨近于0,缺乏區分度。

這個時候就需要在使用線性函數處理前,對數值進行對數處理,用公式表示為:

應該從哪些分析和評價算法的性能(評分算法3)3

對數處理後的數據結果表示原始數據數量級的大小,在互聯網數據中,長尾分布的案例比較多,使用對數函數轉換是一種非常有效的方法。除了對數函數,也可以根據數據的分布,使用其他函數來改變數據的分布性質,比如多項式函數,這裡就不再贅述。

z分數(z-score)标準化也是常用的一種歸一化方法。在一組數據中,x為某一具體分數,μ為平均數,σ為标準差,用公式表示為:

應該從哪些分析和評價算法的性能(評分算法3)4

z代表着原始分數和母體平均值之間的距離,以标準差為單位計算。在原始分數低于平均值時,z則為負數,反之則為正數。當然,z分數标準化處理的隐含前提是數據符合正态分布,或者類似正态分布。如果數據分布和正态分布差距明顯時,用z分數标準化則可能會有問題。

當然,z标準化後的數據也需要處理一下,這個就根據正态函數的性質處理了。

比如下面的公式就可以控制在0~1之間,而這個公式的數學含義就不展開讨論了,感興趣可以自己推導一下。

應該從哪些分析和評價算法的性能(評分算法3)5

三、權重設計

當數據歸一化之後就要進行加權求和,加權求和的公式是很常見的,如下所示:

應該從哪些分析和評價算法的性能(評分算法3)6

這裡需要考慮到如何設計權重。主要有以下幾種思路。

1. 信息權重

從信息的角度,如果一個信息出現的概率越小,則信息量越大,一個信息越常見,則信息量越小。那麼比如某個證書是否取得這個數據。取得證書的人越多,取得後的權重應該越少。這裡的權重需要設計出一個函數,函數值和比例負相關。比如最簡單的線性函數如下:

應該從哪些分析和評價算法的性能(評分算法3)7

2. 置信度權重

置信度提權的原理是“數據量越大,信息越靠譜”,平均值、打分等方法都有比較好的效果,比如平均時長,平均評分。如下所示,N代表數據的數量,score代表原始打分。

應該從哪些分析和評價算法的性能(評分算法3)8

3. 時間衰減

時間衰減降權,顧名思義,讓過去的信息權重更低,最近的信息權重更高。因為行為具有連續性,所以最新的行為包含了更大的信息量。下面的公式是最常見的時間衰減公式,也是物體降溫和自然衰變的公式,其中t是數據發生時間到現在的時間差。

應該從哪些分析和評價算法的性能(評分算法3)9

4. 業務權重

當然,不同因素之間彼此哪個更重要,的确是一個業務問題,需要和業務方共同商定。業務方不一定需要給出具體的權重,可以給出優先級,根據優先級确定具體的數學規則。這裡的方法不展開講了,核心是達成共識。

四、歸因

歸因本質上是确定清楚具體的服務人員的貢獻。因為一個服務的結果(比如是否下單)背後是多因素的,服務人員隻是多個環節中的一環。

歸因是策略分析中最複雜的問題,但是也有很多系統性的歸因方法。數學功底比較好的同學我推薦系統看下《基本有用的計量學》。那這裡長話短說,我去掉複雜的數學語言,艱難表述下也是兩種書中提到的方法。

第一種就是回歸算法,多個因素的話,可以使用多元線性回歸和邏輯回歸,如果需要考慮時序上的區别,時間序列的算法也可以考慮。每種算法都有對應的數學假設,在使用前要确保業務場景符合數學假設。

第二種就是找到一個指标找到一個參考标準,具體服務者的數據和參考基線的數據差是對應的貢獻值。比如配送員的配送準時率,參考标準可以是同配送站準時率的均值。每個配送員計算後,再用這個差值作為配送時效分值計算的基礎數據,進行歸一化和後續的加權求和。

還有一些更複雜的衡量因果效應的方法,還是建議去閱讀專業書籍。本文已經有太多公式了,再加真要沒閱讀量了。

小結

關于服務分一共寫了三期文章,這是B端策略的一個重要課題,但是在整個産品經理的業務範圍内,還是一個非常窄的選題。大部分同學可能對這個選題不感興趣,但希望這些内容可以幫助到工作中涉及到服務分和服務者績效衡量的同學。

#相關閱讀#

評分算法(1):用戶評分

評分算法(2):B端核心策略——服務分

#專欄作家#

潘一鳴,公衆号:産品邏輯之美,人人都是産品經理專欄作家。畢業于清華大學,暢銷書《産品邏輯之美》作者;先後在多家互聯網公司從事産品經理工作,有很多複雜系統的構建實踐經驗。

本文原創發布于人人都是産品經理。未經許可,禁止轉載。

題圖來自 Unsplash,基于 CC0 協議

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2025 - www.tftnews.com All Rights Reserved