一個完整的數據分析流程，應該包括以下幾個方面，建議收藏此圖仔細閱讀。

作為數據分析師，無論最初的職業定位方向是技術還是業務，最終發到一定階段後都會承擔數據管理的角色。因此，一個具有較高層次的數據分析師需要具備完整的知識結構。

1、數據采集

了解數據采集的意義在于真正了解數據的原始面貌，包括數據産生的時間、條件、格式、内容、長度、限制條件等。這會幫助數據分析師更有針對性的控制數據生産和采集過程，避免由于違反數據采集規則導緻的數據問題；同時，對數據采集邏輯的認識增加了數據分析師對數據的理解程度，尤其是數據中的異常變化。

比如：

Omniture中的Prop變量長度隻有100個字符，在數據采集部署過程中就不能把含有大量中文描述的文字賦值給Prop變量（超過的字符會被截斷）。

在Webtrekk323之前的Pixel版本，單條信息默認最多隻能發送不超過2K的數據。當頁面含有過多變量或變量長度有超出限定的情況下，在保持數據收集的需求下，通常的解決方案是采用多個sendinfo方法分條發送；而在325之後的Pixel版本，單條信息默認最多可以發送7K數據量，非常方便的解決了代碼部署中單條信息過載的問題。（Webtrekk基于請求量付費，請求量越少，費用越低）

當用戶在離線狀态下使用APP時，數據由于無法聯網而發出，導緻正常時間内的數據統計分析延遲。直到該設備下次聯網時，數據才能被發出并歸入當時的時間。這就産生了不同時間看相同曆史時間的數據時會發生數據有出入。

在數據采集階段，數據分析師需要更多的了解數據生産和采集過程中的異常情況，如此才能更好的追本溯源。另外，這也能很大程度上避免“垃圾數據進導緻垃圾數據出”的問題。

2、數據存儲

無論數據存儲于雲端還是本地，數據的存儲不隻是我們看到的數據庫那麼簡單。比如：

數據存儲系統是MySql、Oracle、SQL Server還是其他系統。

數據倉庫結構及各庫表如何關聯，星型、雪花型還是其他。

生産數據庫接收數據時是否有一定規則，比如隻接收特定類型字段。

生産數據庫面對異常值如何處理，強制轉換、留空還是返回錯誤。

生産數據庫及數據倉庫系統如何存儲數據，名稱、含義、類型、長度、精度、是否可為空、是否唯一、字符編碼、約束條件規則是什麼。

接觸到的數據是原始數據還是ETL後的數據，ETL規則是什麼。

數據倉庫數據的更新更新機制是什麼，全量更新還是增量更新。

不同數據庫和庫表之間的同步規則是什麼，哪些因素會造成數據差異，如何處理差異的。

在數據存儲階段，數據分析師需要了解數據存儲内部的工作機制和流程，最核心的因素是在原始數據基礎上經過哪些加工處理，最後得到了怎樣的數據。由于數據在存儲階段是不斷動态變化和叠代更新的，其及時性、完整性、有效性、一緻性、準确性很多時候由于軟硬件、内外部環境問題無法保證，這些都會導緻後期數據應用問題。

3、數據提取

數據提取是将數據取出的過程，數據提取的核心環節是從哪取、何時取、如何取。

* 從哪取，數據來源——不同的數據源得到的數據結果未必一緻。

* 何時取，提取時間——不同時間取出來的數據結果未必一緻。

* 如何取，提取規則——不同提取規則下的數據結果很難一緻。

在數據提取階段，數據分析師首先需要具備數據提取能力。

常用的Select From語句是SQL查詢和提取的必備技能，但即使是簡單的取數工作也有不同層次。

第一層是從單張數據庫中按條件提取數據的能力，where是基本的條件語句；

第二層是掌握跨表提取數據的能力，不同的join有不同的用法；

第三層是優化SQL語句，通過優化嵌套、篩選的邏輯層次和遍曆次數等，減少個人實踐浪費和系統資源消耗。

其次是理解業務需求的能力，比如業務需要“銷售額”這個字段，相關字段至少有産品銷售額和産品訂單金額，其中的差别在于是否含優惠券、運費等折扣和費用。包含該因素即是訂單金額，否則就是産品單價×數量的産品銷售額。

4、數據挖掘

數據挖掘是面對海量數據時進行數據價值提煉的關鍵，以下是算法選擇的基本原則：

沒有最好的算法，隻有最适合的算法，算法選擇的原則是兼具準确性、可操作性、可理解性、可應用性。

沒有一種算法能解決所有問題，但精通一門算法可以解決很多問題。

挖掘算法最難的是算法調優，同一種算法在不同場景下的參數設定相同，實踐是獲得調優經驗的重要途徑。

在數據挖掘階段，數據分析師要掌握數據挖掘相關能力。一是數據挖掘、統計學、數學基本原理和常識；二是熟練使用一門數據挖掘工具，Clementine、SAS或R都是可選項，如果是程序出身也可以選擇編程實現；三是需要了解常用的數據挖掘算法以及每種算法的應用場景和優劣差異點。

5、數據分析

數據分析相對于數據挖掘更多的是偏向業務應用和解讀，當數據挖掘算法得出結論後，如何解釋算法在結果、可信度、顯著程度等方面對于業務的實際意義，如何将挖掘結果反饋到業務操作過程中便于業務理解和實施是關鍵。

6、數據展現

即數據可視化的部分，數據分析師如何把數據觀點展示給業務的過程。數據展現除遵循各公司統一規範原則外，具體形式還要根據實際需求和場景而定。

基本素質要求如下：

* 工具。FineBI是不錯的展現工具。

* 形式。圖文并茂的基本原則更易于理解，生動、有趣、互動、講故事都是加分項。

* 原則。領導層喜歡讀圖、看趨勢、要結論，執行層歡看數、讀文字、看過程。

* 場景。大型會議PPT最合适，彙報說明Word最實用，數據較多時Excel更方便。

最重要一點，數據展現永遠輔助于數據内容，有價值的數據報告才是關鍵。

7、數據應用

數據應用是數據具有落地價值的直接體現，這個過程需要數據分析師具備數據溝通能力、業務推動能力和項目工作能力。

數據溝通能力。深入淺出的數據報告、言簡意赅的數據結論更利于業務理解和接受，打比方、舉例子都是非常實用的技巧。

業務推動能力。在業務理解數據的基礎上，推動業務落地實現數據建議。從業務最重要、最緊急、最能産生效果的環節開始是個好方法，同時要考慮到業務落地的客觀環境，即好的數據結論需要具備客觀落地條件。

項目工作能力。數據項目工作是循序漸進的過程，無論是一個數據分析項目還是數據産品項目，都需要數據分析師具備計劃、領導、組織、控制的項目工作能力。

（來源：簡書@數據分析不是個事兒）

找記者、求報道、求幫助，各大應用市場下載“齊魯壹點”APP或搜索微信小程序“壹點情報站”，全省600多位主流媒體記者在線等你來報料！ 我要報料

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!