數據分析與算法大全?如果你對數據分析感興趣，希望學習更多的方法論，希望聽聽經驗分享，，現在小編就來說說關于數據分析與算法大全?下面内容希望能幫助到你，我們來一起看看吧!

數據分析與算法大全

如果你對數據分析感興趣，希望學習更多的方法論，希望聽聽經驗分享，

歡迎移步公衆号「小火龍說數據」，更多精彩原創文章與你分享！

「數據分析」和「數據挖掘」在很多同學眼中是兩個單獨的方向，但其實作為分析同學，在很多場景中，是可以利用挖掘技術解決問題的。同時，掌握一些算法内容，也是面試以及日常工作中的加分項。

本文小火龍會和大家分享7個在工作中用算法的場景，理論不會展開，聚焦思路，希望對你有所幫助。

數據采集入庫之後，常常會在ODS層做一步「離線反作弊」，目的是把“假用戶”的刷量數據剔除出去，有助于下遊數據的準确性。反作弊屬數倉的範疇，一般會由DE同學負責，DS同學接觸的相對較少。

反作弊的方式有很多，對于數據量不大的公司，有的甚至會直接采用統計規則進行識别。當然，在制定規則前，需要對作弊用戶進行分析。例如：pv>500且ctr<0.3的用戶在某些場景可能為作弊用戶。

而對于數據量較大的公司，用戶的作弊手段比較多樣化，引入算法挖掘是非常有必要的。其中「圖模型、樹模型等」都有出現過，而在實戰中，往往采用多種模型的組合，形成一個龐大的反作弊系統，簡單舉兩個例子，讓大家更有體感。

圖模型方式舉例：基于Swing二部圖算法，計算用戶之間相似度，結合圖聚類将用戶分簇，假設某個簇中疑似作弊用戶大于一定阈值，則判定該簇中的全部用戶均有作弊嫌疑。

樹模型方式舉例：根據用戶的各種行為特征，采用有監督學習，判斷是否為作弊用戶。當然，有監督學習的缺點是，沒有那麼多作弊數據進行訓練，同時當有新的作弊手段出現時，發現的也比較滞後。

數據分析同學避不開的話題「指标異動分析」，這個在之前的文章中，小火龍也寫過“異動分析三步曲”，從「異動分析思路」→「快速定位異常維度」→「輸出量化結論」，對于哪部分感興趣，可以戳粗字部分，本篇文章不再展開。其中「快速定位異常維度」中，會利用樹模型/相對熵的方式挖掘異常維度，提升排查效率。

預測的作用主要在于目标的制定以及指标的監控。

預測的方式有很多：同環比、Arima、Holt-Winters、Prophet、LSTM等。

預測的場景同樣有很多：日常預測、節假日預測、特殊時點預測等。

其中，Prophet是原理相對簡單、精準度較高，且适用較多場景的模型。在之前的文章中也有寫過「預測的理論篇」及「預測的代碼實現篇」，對于哪部分感興趣，可以戳粗字部分。

在新用戶分析中，經常會度量功能對用戶價值的影響，如果功能對用戶有顯著正向效果，則會考慮通過引導手段，幫助用戶使用，也就是用戶增長中常說的Aha Moment。

挖掘Aha的方式有很多，其中：功能與留存的Pearson相關性、随機森林特征貢獻度，均是較為常用的方法，樹模型可以輔助挖掘，從而提升分析效率。感興趣的同學可以翻翻文章「用戶增長-新用戶篇」。

在用戶成熟期後，往往會出現衰退、流失的情況，如果能在用戶即将流失之前加以幹預，挽留住用戶，相比獲取同等數量的新用戶要劃算的多。

用戶流失預警模型，利用用戶的各種特征，創建分類模型，預測用戶未來流失的可能性，從而通過手段提前幹預，盡可能留住這些用戶。小火龍在之前工作中，也花了大量時間研究這塊内容，在後面文章中，會和大家逐一分享。

因果分析的目的主要是度量某個「幹預」對「目标」的影響程度，我們經常用的AB實驗就是為了解決因果問題。而在某些場景，當無法做AB實驗，或者沒來得及開發AB實驗的時候，便可以通過一定算法手段進行挖掘。

DID（雙重拆分法）、granger因果檢驗、因果樹等，都是比較常用的方式。在之前的文章中，分享過因果算法在快手産品中的應用，感興趣可以戳這裡「因果推斷」。

在用戶畫像中，有些标簽是人工加上去的，可以輔助業務進行推廣，實現千人千面，例如：時尚達人、職場精英、家庭宅男等。這些标簽是通過用戶多種特征進行分群，并加以提煉。而聚類算法是經常用到的，同樣可以翻一翻之前的文章，小火龍在「聚類算法的應用中」有詳細的講解。

最後說一句，在數據分析中，應用算法的地方還有很多，以上7個場景隻是冰山一角。切記一點：學習前沿技術是非常有必要的，但算法的目的是服務于業務，在同等準召的情況下，優先選擇簡單的算法。

以上就是本期的内容分享

如果你也對數據分析感興趣，那就來關注我吧，更多「原創」文章，與你分享！！

小火龍說數據

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!