基于内容特征以及協同過濾算法機制的推薦系統,使優質草根難以有“出頭之日”。關于内容價值的高低,不能一直靠冷冰冰的算法來判定,長此以往,隻會使内容生産流水線化,好内容消匿在所謂的“爆款文”浪潮中。微信新提出的新的熱度預測模型——DETC,将改變這種現狀,促進内容價值判定标準多元化,重新定義“爆款文”。
沒有一個時代比今天更重視技術對于内容的價值。
越來越多的人們,尤其是年輕人,更加願意使用和相信算法生成和推送的内容。算法之于文章,扮演的就是一個“星探”的角色。它需要在剛剛見面的幾分鐘内,就判斷出哪個具有“明日之星”的潛力,以便分配更多的資源幫助它“走花路”,而不是隻會在對方走紅之後,才說出“我早就知道”的馬後炮。
不幸的是,大部分基于内容特征和協同過濾算法的推薦系統,都無法“識英雄于微時”——在文章發出早期就判斷出其受歡迎程度。這就導緻一些原本質量很高的文章,很可能因為初始浏覽量不夠而被埋沒,“标題黨”“咪蒙系”反而有可能得到越來越多的推薦和熱度。
如何在過剩的信息洪流中将用戶最感興趣、最具潛力的資訊率先甄選出來,是建立一個良性内容生态的關鍵,卻也是困擾各大巨頭、懸而未決的技術難題。
最近,微信的研究人員就提出了一種新的神經網絡方法DFTC,用來更好地預測網絡文章的熱度。由于該模型表現出了良好的性能,已經被AAAI 2019 大會接收, 并在大會上作了主題報告。
它在哪些領域進行了創新?又能為現有的爆款内容生産機制帶來哪些改變呢?渠道分發哪家強?熱度預測又面臨哪些難題?
在介紹新方法之前,有必要先梳理一下,當前的推薦算法都是如何進行熱度預測的?
如何進行熱度預測
一種是基于聚合浏覽量的時間演進過程,比如:今日頭條的熱門推薦算法,就是優先推薦熱門的文章。
這種方式的優勢是:已知的曆史熱度會越來越接近整體受歡迎程度,因此,模型的表現也會随着文章發布的時間而變得越來越好。
但由于很多外部因素帶來的意外增長,都是不可預測的,時間熱度模型卻對此卻無能為力。即使引入人工幹預,除非像咪蒙系一樣憑借大量經驗和策劃,否則也很難确定爆款文章可能出現的時間,以及生命力有多強。
二是通過預測内容特征的受歡迎程度,來推斷整體可能的熱度。
Yahoo Today就曾經用新聞的點擊率來進行畫像,并用feature-based learning方法來建模用戶對資訊感興趣的程度。
其中包括靜态特征,比如:資訊的類目、主題等;以及動态特征,如某條資訊、某類資訊分時間段的各種統計值等。
通過這種方法,Yahoo發現在推薦新聞時,娛樂類新聞天然比體育類新聞點擊率高。
由于内容特征不會随着時間而變化,因此很多不那麼刺激眼球的内容,也可以獲得公平的曝光機會,使得該模型在早期階段效果更為可靠。
但問題也随之而來,網絡文章通常是長文本,加上越來越複雜的元數據特征(如标題、類别、作者信息等),建模難度也日漸增大,目前還沒有此類模型能夠完全地利用這些數據。
不難發現:不論是基于時間演進,還是基于内容特征,都不足以支撐内容終極價值的判斷标準。隻有雙管齊下,才能發揮出最佳的預測效果。然而,這對于算法工程師來說是極大的挑戰。
DFTC:改寫熱度預測的叢林法則
為了改變這一現狀,微信的研究人員就此提出了一種将時間過程,與内容特征深度地融合到一起的神經網絡方法——Deep Fusion of Temporal process and Content features,簡稱DFTC,來構建更合理的熱度預測系統。
他們收集了2018年5月-7月的6萬篇微信公衆号文章的熱度數據,将文章熱度分為 3 類:爆款(閱讀量>10000),冷門(閱讀量<100)和普通 (其它)。最終得到一個類别基本平衡的數據集用作訓練 (training set) 和測試 (balanced test set),并建立了一個2 萬篇文章構成的随機測試集 (random test set)。
DFTC一共包含三個部分:
- 時間過程建模;
- 内容特征建模;
- 注意融合。
首先,采用卷積神經網絡(Attention CNN)來提取文章增長和下降的短期波動情況,比如:一篇文章每小時浏覽量的變化情況。
接着,再利用循環神經網絡(RNN)得出文章受歡迎程度的長期增長趨勢。
然後,利用分層注意網絡(HAN)來獲取文本特征,使用嵌入技術來學習各種元數據的特征,并進行建模,得到一個内容特征模型。
接下來,将建好的時序模型和内容模型利用注意力機制,動态地組合到一起,生成一個能夠體現出文章熱度演變過程多樣性的靈活權重(Popularity level)。
DFTC的創新之處是,解決了三個懸而未決的行業難題:
- 如何預測意外情況帶來的短期波動(Attention CNN自動學習短期波動,不做具體假設或人工設計);
- 如何解決元數據多模态的識别難題(embedding技術可以識别短文本描述、标題和圖像等多種表現形式);
- 相同内容特征與不同生命周期階段的連接(Attention融合機制,生成一個靈活權重而非線性組合)。
至此,一個更優秀的熱度預測模型就誕生了。
實驗數據顯示:“兩手抓兩手都要硬”的DFTC,在文章發布後的前5個小時,其預測的準确度相比其他單一性解決方案強出了不少。
不難發現:DFTC正是基于對短期浏覽量、意外因素、内容關鍵詞等可能,決定最終受歡迎程度的多重因素進行了全面統籌,才能在初始期就做出更精準的判斷。
因此,一些枯燥無趣的内容會被率先過濾掉,有潛力的優質文章也更容易得到推薦,避免了“酒香也怕巷子深”的命運。
或許不久以後,依靠經驗和直覺打造爆款,和依靠大數據與關鍵詞打造爆款,這些技術蠻荒時代的叢林法則慢慢都會被更好的生态機制所取代。
熱度預測照亮的未來,不隻屬于文字。
個性化推薦系統既不能完全遵循用戶興趣标簽與内容特征抽取的匹配,那會導緻越來越嚴重的信息繭房(“喜歡你就多看點”)和回聲室效應(“你反對的絕不出現”);也不能單純依靠文章的生命周期來判斷,讓優質創作者在平台偏向(“這篇會火都給我看”)之下涼了熱血。
因此單純從數據上看,DFTC是成功的。
目前,微信已經将該模型作為系統選擇和推薦文章的重要依據,開始在“看一看”等産品場景中進行實踐。
從更廣泛的實用性來說,DFTC所代表的思路,用深度學習技術和思維解決預測問題,正在成為業界共識。
“在任意時間預測網絡内容的最終熱度”,DFTC不僅僅隻有資訊平台的推薦算法,在廣告、搜索等業務也能起到很強的推動作用,提高内容的分發效率。
而就在前不久,微軟也提出過一個跨産品的用戶行為模型,将用戶在搜索、新聞、appstore、xbox等多個産品線上的行為(反饋)統一在一起。這樣訓練出的深度學習網絡,就能很好地優化和解決單個産品上(用戶)冷啟動、信息稀疏等問題。
也就是說:可能你搜索了“房價會不會繼續上漲”,打開新聞APP就會收到“房價可能回到三年前”的新聞,是不是有點細思極恐呢?
這也反映出深度學習進行熱點預測所呈現的新的問題:
平台對熱點的評估隻是一種模仿,好的閱讀體驗究竟應該如何量化?
為了更好的閱讀體驗,讀者需要讓渡多少個人隐私?
當然,現在想這些還有點為時過早。無論如何,熱度預測模型能力的升級,正在讓内容産業關于價值的标尺越來越多元,這可能是算法最具人性的一次。
作者:腦極體,腦極體
本文由 @腦極體 原創發布于人人都是産品經理。未經許可,禁止轉載。
題圖來源于 Unsplash,基于CC0協議
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!