老規矩，開始正文前：微信搜索并關注公衆号“智能推薦系統”，更多幹貨等着你。

本文總結了推薦系統常用的術語及知識清單，供大家參考。

1、推薦系統

推薦系統相當于信息的“過濾器”，它旨在解決信息過載的問題，幫助人們更好地作出決策。它的主要原理是根據用戶過去的行為（比如購買、評分、點擊等）來建立用戶興趣模型，之後利用一定的推薦算法，把用戶最可能感興趣的内容推薦給用戶，如下圖：

2.1、召回

從海量（數千萬）item中粗選出幾百或者上千的候選集的過程，可以理解為向用戶粗選一批待推薦的商品。相當

2.2、排序

從召回的上千候選集中，預測出用戶的點擊概率，以此排序，給出最終向用戶推薦的結果集。

2、數據

為了完成上面的計算，我們需要三部分數據：

2.1、 用戶數據（User）

指用來建立用戶模型的數據，這些數據根據不同的推薦算法而不同，典型的數據包括用戶興趣點、用戶profile、用戶的社交好友關系等；

2.2、 内容數據（Item）

指用來描述一個被推薦内容主要屬性的數據，這些屬性主要都是跟具體的内容相關的，如一部電影的導演、演員、類型和風格等；

2.3、 用戶-内容數據

用戶-内容交互是指反映用戶與内容内在聯系的數據，分為隐式和顯式兩種；顯式主要是指評價、打分、購買等能明顯反映用戶對内容興趣的交互數據，隐式指的是用戶的點擊、搜索記錄等間接反映用戶對内容興趣的交互數據。

3、算法

當前主流的推薦算法可以分為以下幾類：

3.1、基于内容的推薦（Content-based）

根據用戶過去喜歡的内容而推薦相似的内容；

3.2、基于協同過濾的推薦(Collaborative Filtering，CF)

根據與當前用戶相似的用戶的興趣點，給當前用戶推薦相似的内容

3.3、基于人口統計學的推薦(Demographic-based)

根據用戶共同的年齡、地域等人口統計學信息進行共同的推薦

3.4、基于知識的推薦(Knowledge-based)

根據對用戶和内容的特定領域知識，給特定的用戶推薦特定的内容

3.5、基于團體的推薦(Community-based)

根據用戶的社交好友關系，給用戶推薦其好友感興趣的内容

3.6、混合推薦(Hybrid Recommender System)

以上各種推薦算法的特定組合

4、數據預處理

推薦系統相關的數據預處理技術除了通常的歸一化、變量替換等以外，最主要的是相似度計算、抽樣和維度約減。

4.1、相似度計算

相似度通常有兩種衡量方式，一是直接計算相似度，二是計算距離，距離是本質上是相異程度的度量，距離越小，相似度越高。

4.1.1、相似度度量

4.1.1.1、餘弦相似度

相似度計算最常見的方式是餘弦相似度，對于n維空間的兩個向量，通過以下公式計算相似度。其幾何意義就是兩個向量的空間夾角的餘弦值，取值範圍在-1到1之間。取值為-1表示完全相反，取值為1表示完全相同，其餘值表示介于二者之間。

4.1.1.2、皮爾遜相關系數

相似度計算的另一種常見方式時皮爾遜相關系數。皮爾遜相關系數的實際意義是兩個随機變量x和y之間的線性相關性，取值範圍在-1和1之間。-1表示負線性相關，1表示正線性相關，其餘值表示介于二者之間。

4.1.1.3、Jaccard相關系數（Jaccard Coefficient）

Jaccard用于集合相似度的一種方式。

4.1.2、距離度量

4.1.2.1、歐幾裡得距離（Euclidean Distance）

距離度量最常見的是歐幾裡得距離，計算多位空間中兩個點之間的絕對距離。

4.1.2.2、曼哈頓距離（Manhattan Distance）

曼哈頓距離也稱為城市塊距離，是将多個維度的直線距離求和後的結果。

4.1.2.3、切比雪夫距離（Chebyshev Distance）

4.1.2.4、闵可夫斯基距離（Minkowski Distance）

Minkowski距離是歐氏距離(p=2)、曼哈頓距離(p=1)和切比雪夫距離(p=無窮)的推廣。

4.1.2.5、标準化歐氏距離（Standardized Euclidean Distance）

标準化歐氏距離是為了解決以上四種距離的一個重要不足而産生的，即以上四種距離把不同維度指标的差異視為相同的。标準歐式距離則通過每一維的标準差，對該維度進行一個标準化後再進行計算。

4.1.2.6、馬哈拉諾比斯距離（Mahalanobis Distance）

Mahalanobis距離是标準化歐氏距離的推廣，在協方差矩陣是對角陣時，Mahalanobis距離就變成了标準化歐氏距離。

4.2、抽樣

抽樣技術在數據挖掘中主要用在兩個地方：一是在數據預處理和後處理階段，為了避免計算規模過大，進行抽樣計算；二是在數據挖掘階段，通常會對訓練出來的模型進行交叉驗證，需要抽樣将所有樣本劃分為訓練集和測試集。

通常所說的抽樣都是随機抽樣(random sampling)，主要用于所有樣本點都可以認為沒有區分時适用。還有一種分層抽樣(striated sampling)，在樣本需要顯著的分為不同的子集時，針對每個子集分别進行抽樣。

4.3、維度約減(Dimensionality Reduction)

在統計學習理論中，當樣本的維度增加的時候，待學習的模型的複雜性是随着維度呈指數增長的，這種現象通常稱為“維數災難(curse of dimensionality)”。這也就意味着，如果我們想在高維空間中學到和在低維空間中精度一樣高的模型，所需要的樣本數是呈指數增長的。

維度約減通常是用來處理維災難問題的。通常維度約減有兩種思路，一是從高維數據中選出最能表達數據的一些維度，并用這些維度來代表數據，稱為特征選擇(feature selection)；另一種是将高維數據通過某種trick變換映射到低維空間，稱為特征構造(feature extraction)。

主成分分析（Principal Component Analysis, PCA）是最主要的一種特征選擇方式。它通過特征分解能夠得到每一個維度對于整個數據的最小均方差的貢獻程度，從而定量判斷每一維對于數據所包含信息的貢獻度。然後保留最主要的一些維度，抛棄一些不顯著的維度，對數據進行降維。

奇異值分解（Singular Value Decomposition, SVD）是主要的特征構造方式。它通過矩陣分解的方式，将數據從高維空間映射到低維空間，對數據進行降維。

5、數據挖掘-分類

分類是數據挖掘的主要内容，方法衆多，各自都有不同數據假設和理論支持。下面簡單列舉最有代表性的一些算法。

5.1、KNN(K-nearest Neighbor)

KNN是最容易理解的分類器，它不訓練任何模型。當有一個未知樣本需要預測時，它從已知樣本中找到與這個未知樣本距離最近的K個點，根據這K個點的類别來預測未知樣本的類别。

它最主要的不足在于它需要的樣本量非常大，同時因為它沒有任何訓練的模型，每一次預測都要計算k次距離，計算量非常大。

5.2、決策樹(Decision Tree)

決策樹将分類過程抽象為一顆樹，它通過最大化信息增益的方式對樹的分支進行劃分，最終通過設置不純度的阈值來停止樹的劃分，形成最終的決策樹。

它的主要優點在于模型的訓練和預測都非常快，不足在于模型的精度有時會低于其它分類器。不過，通過集群學習(ensemble learning)的方式能夠極大的克服這一點，如采用bagging思想的random forest和采用boosting思想的GBDT，都是決策樹的延伸，它們綜合多棵決策樹的分類結果來組合出更精确的分類器。

5.3、基于規則的分類器(Rule-based Classifier)

基于規則的分類器通常都是利用“如果…則…”一類的規則來進行分類。其适用性有限，且要獲得靠譜的規則比較困難，一般用的較少。

5.4、貝葉斯分類器（Bayes classifier）

貝葉斯分類器其實是一類分類器，主要是利用貝葉斯公式，通過估計先驗概率和似然概率，并利用一部分先驗信息，來計算給定樣本的各維度數據值的情況下，樣本屬于某個類别的概率。

5.5、人工神經網絡（Artificial Neural Network，ANN ）

神經網絡是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對于通過該連接信号的加權值，稱之為權重，這相當于人工神經網絡的記憶。網絡的輸出則依網絡的連接方式，權重值和激勵函數的不同而不同。而網絡自身通常都是對自然界某種算法或者函數的逼近，也可能是對一種邏輯策略的表達。

5.6、支持向量機(Support Vector Machine, SVM)

支持向量機是線性分類器的代表。與貝葉斯分類器先估計概率密度然後計算判别函數不同，線性分類器都是直接估計線性判别式，并最小化某個目标函數，利用某種凸優化方法求解得到最終的線性判别式。

這是最流行的分類器之一，通常認為它訓練、預測速度快，而且精度靠譜，所以在各種領域廣泛使用。

5.7、集成學習(Ensemble Learning)

集成學習的想法是集合若幹個弱分類器來組合成一個強分類器，通常有bagging和boosting兩種思路。

5.8、分類器評估

分類器評估是對一個分類器性能進行評價的重要一步，其主要有以下标準：

Precision-recall：準确率-召回率，根據混淆矩陣計算

F1：結合準确率-召回率的一個綜合指标

ROC：直觀的曲線比較分類器性能

AUC：ROC的定量化表達

MAE：平均絕對誤差

RMSE：平均根方誤差

微信搜索并關注公衆号“智能推薦系統”，更多幹貨等着你。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!