tft每日頭條

 > 科技

 > 推薦系統和深度學習的區别

推薦系統和深度學習的區别

科技 更新时间:2024-11-27 13:33:50

撰寫推薦系統的文章多如牛毛,筆者準備撰寫推薦系統産品的文章除了以下4點原因外,更是因為推薦系統已經從傳統的推薦系統升級到智能的以深度學習驅動的深度推薦系統為主的旋律。有了這一與網上推薦系統文章立意不同的思路,故此分享出來。

推薦系統和深度學習的區别(深度學習應對推薦系統)1

因為與時下大數據AI緊密相關。故此本文先講為什麼推薦系統總被提及?接着講推薦系統數據分析經驗,然後講解概述傳統推薦系統産品的做法,最後撰寫深度學習推薦系統産品的操作方法。

為什麼推薦系統常常被提及?

1. 國際科技公司從推薦系統獲益有先例

根據微軟亞洲研究員的報告,推薦系統給亞馬遜(國内競品淘寶)帶來了35%的銷售收入,給Netflix帶來了高達75%的消費,并且Youtube(國内競品愛奇藝、騰訊、優酷視頻)主頁上60%的浏覽來自推薦服務。

2. 産品經理市場職位用高薪擁抱推薦系統産品經理

市場上招聘推薦系統産品經理的公司多,且相對傳統産品經理薪資很高,如下圖:

推薦系統和深度學習的區别(深度學習應對推薦系統)2

3. 快速綜合叠代的推薦系統錘煉産品經理的能力

推薦産品自身叠代快,亦能綜合體現産品經理的綜合素養。

首先推薦系統快速的從傳統推薦系統過渡到AI機器學習推薦系統,另外推薦系統産品種類繁多,大緻可以分為:離線與實時;基于統計與基于個性化;基于相似度與基于模型;基于内容與基于協同過濾等等種類。如此龐大的産品種類足夠鍛煉産品經理的複合能力。

4. 推薦系統有廣泛的應用且帶來實實在在的益處

推薦系統能為公司的産品和服務做預測,提早講産品和服務售賣給用戶,實現公司商業目标。

用戶更好的獲取到自己需要的内容,内容更快更好的推送到喜歡它的用戶手中,公司網站(公司平台)更有效的保留用戶資源。

應用領域有:電子商務、電影視頻、社交網絡、個性化閱讀、位置服務、個性化郵件、個性化廣告、個性化旅遊、證券、理财、個性化音樂等等。

第一個層面:推薦系統的數據分析

例如:一方面淘寶用戶在逛淘寶時會留下用戶的個人信息、喜好信息、上下文信息;另外一方面用戶的行為,用戶對寶貝的評價、評分、點擊、浏覽、搜藏、購買等行為會構成用戶與寶貝商品之間形成行為數據。

用戶對寶貝有行為數據,可以表示用戶對寶貝感興趣,有什麼樣的興趣就需要數據分析。

推薦系統用戶行為分析産品結構圖如下:

推薦系統和深度學習的區别(深度學習應對推薦系統)3

用戶行為數據分析的含義:對用戶購物路徑日志信息進行統計、分析,從中發現用戶訪問網站的規律,并将這些規律與網絡營銷策略等相結合,從而發現目前網絡營銷活動中可能存在的問題,并為進一步修正或重新制定網絡營銷策略提供依據。

用戶行為數據分析目的:通過對用戶行為監測獲得的數據進行分析,可以讓企業更加詳細、清楚地了解用戶的行為習慣,從而找出網站、推廣渠道等企業營銷環境存在的問題,有助于企業發掘高轉化率頁面,讓企業的營銷更加精準、有效,提高業務轉化率,從而提升企業的廣告收益。

小結:産品經理在推薦系統數據分析裡必懂的點如下:

  1. 重點分析内容:用戶來源數據:城市、渠道、頁面等;
  2. 數據分析應用場景,如用戶維度:拉新、留存、促活、變現等;結合RFM模型做用戶數據深度分析;流量維度,站内站外維度的漏鬥轉化分析;營銷效果維度的評估分析等。
  3. 數據鑽取:數據上鑽:從當前數據往上回歸到上一層數據。例如:(某數據的分類下面分為品名)從品名列表收攏到分類列表。

下鑽:從當前數據往下展開下一層數據。 例如:(某數據的分類下面分為品名)從分類列表展開到品名列表。

上鑽、下鑽統稱鑽取。

切片:展現同一層面的數據。如上述的産品。

轉軸:這些應該屬于查詢、展現範疇。

第二個層面:傳統的推薦系統

傳統的推薦系統,一般都是根據大量用戶的活動所産生的大量信息,然後所産生的群體偏好再加以利用,比如某寶的商品推薦,熱門視頻,看了又看,相親匹配等等。

尋找相同品味的人,然後根據最相似的他人喜好給出推薦就可以。這就是協同過濾(Collaborative Filtering,CF)的基本想法了:借鑒相關人群的觀點來進行推薦。這與KNN雖然大體一緻,但實現下細微處差異還是很大的。

例如:傳統推薦系統基于内容的推薦如下圖

推薦系統和深度學習的區别(深度學習應對推薦系統)4

用戶A喜歡電影a,電影a的類型屬于愛情動作;用戶B喜歡恐怖,懸疑,驚悚的B類電影b;用戶C喜歡也喜歡恐怖,懸疑,驚悚的B類電影b;根據基于内容的推薦算法,會将電影c,愛情、動作,劇情類電影推薦給用戶A。

小結,産品經理在傳統的推薦系統中要懂如下三點:

(1)基于内容的推薦(Content Based,CB),基于用戶特征屬性和item的特征之間的匹配程度來做推薦,推薦效果強依賴于特征工程的好壞。

好處是用戶獨立性,不需要協同考慮其他用戶特征,這也意味着一個缺點就是可供我們分析的内容有限。

再一個好處是沒與用戶互動(評分、購買、加購物車等)過的新的item也可以被推薦。最大的缺點是過度特化,推薦的items沒有創新性和驚喜。

(2)協同過濾(CF),利用的信息是用戶和item之間的互動信息(多用的是用戶評分矩陣),CF在評分矩陣信息較為稠密的時候表現好于CB,并且CF可以捕捉到一些複雜的難以表達的信息;在實際應用中CF經常會産生意外的驚喜的推薦,這一點也暗示着CF方法不适合做公共基金推薦等嚴肅的推薦任務(因為CF主要基于稀疏的、不完整的數據做推薦);再一個CF存在冷啟動問題。

(3)混合推薦方法,CF CB

第三個層面:AI機器學習賦能的深度推薦系統

我們知道AI包含機器學習和深度學習,而深度學習是機器學習的特例。

推薦系統與深度學習,深度推薦系統現階段的應用主要體現在如下三個層面:

(1)提升表征學習能力。深度神經網絡的優勢在于其強大的表征學習能力。因此,一種最直接的應用是,利用深度學習技術從複雜的内容數據中學習出有效的隐因子特征表示,從而後續可以很方便地為推薦系統所用。

深度協同過濾。經典的矩陣分解模型可以被描述為一種非常簡單的神經網絡。我們可以通過拓展其中的結構,引入更多的非線性單元來加強推薦模型的功能。

  • 一方面,它彌補了兩個隐向量的樸素點積操作不能區分各維度之間重要性差别的弱點;
  • 另一方面,它額外引入了一個多層感知機模塊,用來引入更多的非線性操作。除此之外,自動編碼機、卷積神經網絡、記憶網絡、注意力網絡等深度學習相關技術也分别被應用在改進傳統的協同過濾模型中。

(2)特征間的深度交互。企業的推薦系統為了盡量提高模型的準确性,往往會使用豐富的甚至異構的内容數據。這些特征從不同的維度展現了不同的信息,而且特征間的組合通常是非常有意義的。傳統的交叉特征是由工程師手動設計的,這有很大的局限性,成本很高,并且不能拓展到未曾出現過的交叉模式中。深度神經網絡去自動學習高階的特征交互模式,彌補人工特征工程帶來的種種局限性。

深度學習技術在推薦系統中的應用前景很廣闊,下面來看深度推薦系統的實操案例:

推薦系統和深度學習的區别(深度學習應對推薦系統)5

從上圖深度推薦系統産品功能結構可見,深度推薦包含輸入層、模型層和輸出層。

輸入層的數據主要包括:用戶顯示反饋(評分、喜歡/不喜歡)或隐式反饋數據(浏覽、點擊等行為數據)、用戶畫像(性别、年齡、喜好等)和項目内容(文本、圖像等描述或内容)數據、用戶生成内容(社會化關系、标注、評論等輔助數據)。

模型層,使用的深度學習模型較廣泛,包括自編碼器RBM、受限玻爾茲曼機AE、卷積神經網絡CNN、循環神經網絡RNN等。

在輸出層,通過利用學習到的用戶和項目隐表示,通過内積、Softmax、相似度計算等産生項目的推薦列表,最後實現深度推薦系統。

小結:深度推薦系統未來的産品方向

(1)效率與可拓展性

對推薦系統而言,不僅需要考慮模型的準确度,運行效率和可維護性也是非常重要的方面。效率指的是當用戶發來一個請求時,推薦系統能夠以接近實時的速度返回結果,而不需讓用戶等待;可維護性指系統的部署簡便,能夠支持定期更新,或者增量式更新。

(2)多樣化數據融合

現實平台中,用戶或者物品的數據往往是複雜多樣的。物品的内容可以包括文本、圖像、類别等數據;用戶的行為數據可以來自多個領域,例如社交網絡、搜索引擎、新聞閱讀應用等;用戶的行為反饋也可以是豐富多樣的,例如電商網站中,用戶的行為可能有搜索、浏覽、點擊、收藏、購買等。

不僅如此,在這些不同的維度中,不同用戶或物品的數據分布也千差萬别;用戶在不同的行為反饋上的數據量也不同,點擊行為的數據量往往遠大于購買行為的數據量。因此,需要深度融合這些複雜數據。

(3)捕捉用戶長短期偏好

用戶的偏好大緻可以分為長期和短期兩類。長期偏好往往指用戶的興趣所在,例如她是五月天的歌迷,那麼未來很長時間她都會對五月天的歌曲、演唱會門票感興趣。

短期偏好指的是用戶在當前環境下的即時興趣,例如最近一周用戶比較喜歡聽抖音上的熱門歌曲,那麼推薦系統也應該捕捉到用戶的這個興趣,或者用戶在未來一個月有搬家的打算,那麼推薦系統可以适當地推送一些搬家公司的廣告。目前一些流行的做法是,将循環神經網絡與深度協同過濾技術結合,從而達到兼顧長短期記憶的功能。

最後

如何應用大量的用戶和物品及内容的匹配,做到精準推薦,未來的出路或許就在深度推薦系統。關于深度學習的内容期待關注筆者接下來的文章。

#專欄作家#

連詩路,公衆号:LineLian。人人都是産品經理專欄作家,《産品進化論:AI 時代産品經理的思維方法》一書作者,前阿裡産品專家,希望與創業者多多交流。

本文原創發布于人人都是産品經理。未經許可,禁止轉載。

題圖來自Unsplash, 基于CC0協議

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved