無處不在的數據分析

谷歌的數據分析可以預測一個地區即将爆發的流感，從而進行針對性的預防；淘寶可以根據你浏覽和消費的數據進行分析，為你精準推薦商品；口碑極好的網易雲音樂，通過其相似性算法，為不同的人量身定制每日歌單……

數據正在變得越來越常見，小到我們每個人的社交網絡、消費信息、浏覽數據……，大到企業的銷售、運營數據，用戶數據，交通網絡數據……

如何從海量數據中獲得别人看不見的知識，如何利用數據來武裝營銷工作、優化産品、用戶調研、支撐決策，數據分析可以将數據的價值最大化。

那麼，小白如何快速獲得數據分析的能力呢？知乎上有很多書單，你可能也聽過很多學習方法，但嘗試過就知道這些跟高效沒什麼關系。

數據分析師應該具備哪些技能

要明确學習的路徑，最有效的方式就是看具體的職業、工作崗位對于技能的具體需求。

我們從拉勾上找了一些最具有代表性的數據分析師職位信息，來看看薪資不菲的數據分析師，到底需要哪些技能。

其實企業對數據分析師的基礎技能需求差别不大，可總結如下：

• SQL數據庫的基本操作，會基本的數據管理
• 會用Excel/SQL做基本的數據分析和展示
• 會用腳本語言進行數據分析，Python or R
• 有獲取外部數據的能力，如爬蟲
• 會基本的數據可視化技能，能撰寫數據報告
• 熟悉常用的數據挖掘算法：回歸分析、決策樹、随機森林、支持向量機等

尋找最合适的學習路徑

最高效的學習路徑是什麼樣的？

你一定要清楚的是，你想要達到的目标是什麼？如果你想利用數據分析的方法來支撐工作決策，那麼你可能需要知道數據分析的流程是什麼，通過數據分析的方法能獲得哪些信息，這些信息可以用來支撐什麼工作。

然後你需要知道要達到這樣的目的，需要哪些必備的技能，哪些是不需要學習的。其實在這個過程中你對知識的框架就有了大概的了解，并知道如何去避免無效的信息。

更重要的是，你需要了解，完成一個數據分析項目，基本的流程是什麼。這樣你才知道學習的知識，在具體的工作中是如何應用，并能夠在學習之後進行針對性的訓練，做到有的放矢。

數據分析的工作流程

1、定義問題

在做具體的分析前，你需要确定要分析的問題是什麼？你想得出哪些結論？

比如某地區空氣質量變化的趨勢是什麼？

影響公司銷售額增長的關鍵因素是什麼？

生産環節中影響産能和質量的核心指标是什麼？

如何對分析用戶畫像并進行精準營銷？

如何基于曆史數據預測未來某個階段用戶行為？

問題的定義需要你去了解業務的核心知識，并從中獲得一些可以幫助你進行分析的經驗。

2、數據獲取

有了具體的問題，你就需要獲取相關的數據了。比如你要探究北京空氣質量變化的趨勢，你可能就需要收集北京最近幾年的空氣質量數據、天氣數據，甚至工廠數據、氣體排放數據、重要日程數據等等。

如果你要分析影響公司銷售的關鍵因素，你就需要調用公司的曆史銷售數據、用戶畫像數據、廣告投放數據等。

數據的獲取方式有多種。

一是公司的銷售、用戶數據。可以直接從企業數據庫調取，所以你需要SQL技能去完成數據提取等的數據庫管理工作。比如你可以根據你的需要提取2017年所有的銷售數據、提取今年銷量最大的50件商品的數據、提取上海、廣東地區用戶的消費數據……，SQL可以通過簡單的命令幫你完成這些工作。

第二種是獲取外部的公開數據集，一些科研機構、企業、政府會開放一些數據，你需要到特定的網站去下載這些公開數據。

第三種是利用八爪魚這樣的采集工具或者編寫網頁爬蟲。比如你可以獲取招聘網站某一職位的招聘信息、租房網站上某城市的租房信息，獲取知乎點贊排行等。基于互聯網的數據，你可以對某個行業、某種人群進行分析，這算是非常靠譜的市場調研、競品分析的方式了。

3、數據預處理

原始的數據可能會有很多問題，比如殘缺的數據、重複的數據、無效的數據等等。把這些影響分析的數據處理好，才能獲得更加精确地分析結果。

比如空氣質量的數據，其中有很多天的數據由于設備的原因是沒有監測到的，有一些數據是記錄重複的，還有一些數據是設備故障時監測無效的。

那麼我們需要用相應的方法去處理，比如殘缺數據，我們是直接去掉這條數據，還是用臨近的值去補全，這些都是需要考慮的問題。

當然在這裡我們還可能會有數據的分組、基本描述統計量的計算、基本統計圖形的繪制、數據取值的轉換、數據的正态化處理等，能夠幫助我們掌握數據的分布特征，是進一步深入分析和建模的基礎。

4、數據分析與建模

在這個部分需要了解基本的數據分析方法、數據挖掘算法，了解不同方法适用的場景和适合的問題。分析時應切忌濫用和誤用統計分析方法。濫用和誤用統計分析方法主要是由于對方法能解決哪類問題、方法适用的前提、方法對數據的要求不清等原因造成的。

比如你發現在一定條件下，銷量和價格是正比關系，那麼你可以據此建立一個線性回歸模型，你發現價格和廣告是非線性關系，你可以先建立一個邏輯回歸模型來進行分析。

當然你也可以了解一些數據挖掘的算法、特征提取的方法來優化自己的模型，獲得更好的結果。

5、數據可視化及數據報告撰寫

分析結果最直接的是統計量的描述和統計量的展示。

比如我們通過數據的分布發現數據分析師工資最高的5個城市，目前各種編程語言的流行度排行榜，近幾年北京空氣質量的變化趨勢，商品消費者的地區分布……這些都是我們通過簡單數據分析與可視化就可以展現出的結果。

另外一些則需要深入探究内部的關系，比如影響産品質量最關鍵的幾個指标，你需要對不同指标與産品質量進行相關性分析之後才能得出正确結論。又比如你需要預測未來某個時間段的産品銷量，則需要你對曆史數據進行建模和分析，才能對未來的情況有更精準的預測。

數據分析報告不僅是分析結果的直接呈現，還是對相關情況的一個全面的認識。所以你需要一個講故事的邏輯，如何從一個宏觀的問題，深入、細化到問題内部的方方面面，得出令人信服的結果。

你看，其實數據分析就這幾個步驟，實現起來也感覺并不難。最好的學習路徑是什麼，就是按照解決問題的流程去學習。你了解這個流程，然後循序漸進深入每個部分，你會覺得這是一件特别容易上手的事情。

來源：數據與算法之美

（本文為網絡摘錄或轉載，版權歸原作者或刊登媒體所有。如涉及作品版權問題，請聯系我們處理。）

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!