CDA數據分析師 出品

作者：Benjamin Obi Tayo

編譯：Mika

對數據分析相關技能的掌握程度大緻可以分為3個級别：基礎水平，進階水平和高級水平。

今天我們就來探讨一下，掌握這三個階段所需的技能分别需要多少時間。

通常情況下，具有物理、數學、科學、工程、會計或計算機科學等學科背景的人，需要的時間相對更少。具體所需的時間取決于你的專業背景以及個人能夠投入多少的精力和時間。

首先是基礎水平，希望從事數據分析領域的人群應該能夠處理一般以逗号分隔值（CSV）文件格式呈現的數據集。并且應具備數據基礎知識、數據可視化和線性回歸方面的能力。

1.1.數據基礎知識

能夠對數據進行操作、清理、結構化、擴展和工程化。并且應該熟練使用pandas和NumPy庫，應具備以下能力：

• 知道如何導入和導出以CSV文件格式存儲的數據
• 能夠清理、處理和組織數據，以便進一步分析或建立模型
• 能夠處理數據集中的缺失值
• 理解并能夠應用數據歸因技術，如平均數或中位數歸因。
• 能夠處理分類數據
• 知道如何将數據集劃分為訓練集和測試集
• 能夠使用縮放技術（如歸一化和标準化）來縮放數據
• 能夠通過主成分分析（PC）等降維技術壓縮數據

1.2. 數據可視化

能夠理解數據可視化的基本組成部分。能夠使用數據可視化工具，包括Python的matplotlib和seaborn包；和R的ggplot2包。

具體需要掌握以下幾個能力：

• 數據組件 進行數據可視化的第一步在于區分并了解數據類型，例如，分類數據，離散數據，連續數據，時間序列數據等。
• 幾何成分 決定哪種可視化方式更适合數據，例如，散點圖、線形圖、條形圖、直方圖、Q-Q圖、平滑密度圖、boxplots、配對圖、熱圖等。
• 映射成分 決定用什麼變量作為X變量，用什麼作為Y變量。這一點很重要，特别是當數據集是多維的、有多個特征的時候。
• 尺度組件 決定使用什麼樣的尺度，例如，線性尺度、對數尺度等。
• 标簽組件 了解像坐标軸标簽、标題、圖例、使用的字體大小等内容。
• 道德操守 确保可視化描述的内容是真實的。在清理、總結、處理和制作數據可視化時，要确保沒有利用可視化來誤導或操縱觀衆。

1.3.監督學習（預測連續目标變量）

熟悉線性回歸和其他高級回歸方法。能夠使用scikit-learn和caret等軟件包來建立線性回歸模型。

具體需要具備以下能力：

• 能夠使用NumPy或Pylab進行簡單的回歸分析
• 能夠使用scikit-learn進行多元回歸分析
• 了解正則化回歸方法，如Lasso、Ridge和Elastic Net
• 了解其他非參數化回歸方法，如KNeighbors回歸（KNR）和支持向量回歸（SVR）。
• 了解評估回歸模型的各種指标，如MSE（平均平方誤差）、MAE（平均絕對誤差）和R2得分
• 能夠比較不同的回歸模型

下面我們看到更進階的需要掌握哪些技能：

2.1 監督學習（預測離散目标變量）

熟悉二元分類算法，例如：

• 感知器分類器
• 邏輯回歸分類器
• 支持向量機(SVM)
• 能夠使用核SVM解決非線性分類問題
• 決策樹分類器
• K-nearest分類器
• Naive Bayes分類器
• 了解分類算法質量的幾個指标，如準确率、精确度、靈敏度、特異性、召回率、F-L評分、混淆矩陣、ROC曲線。
• 能夠使用scikit-learn來建立模型

2.2 模型評估和超參數調整

• 能夠在管道中組合變壓器和估計器
• 能夠使用k-折交叉驗證(k-fold cross-validation)來評估模型性能
• 了解如何使用學習和驗證曲線調試分類算法
• 能夠通過學習曲線診斷偏差和方差問題
• 能夠通過驗證曲線解決過拟合和欠拟合問題
• 了解如何通過網格搜索微調機器學習模型
• 了解如何通過網格搜索調整超參數
• 能夠閱讀和解釋混淆矩陣
• 能夠繪制和解釋接收器工作特性（ROC）曲線

2.3 結合不同的模型進行集合學習

• 能夠使用不同分類器的集合方法
• 能夠結合不同的算法進行分類
• 知道如何評估和調整集合分類器

接下來是更高級的階段，這需要數據人能夠處理高級數據集，如文本、圖像、語音和視頻。除基本和進階技能外，具體應具備以下能力：

• 聚類算法(無監督學習)
• K-means
• 深度學習
• 神經網絡
• Keras
• TensorFlow
• PyTorch
• Theano
• 雲系統（AWS，Azure）

綜上所述，我們已經讨論了數據科學的3個級别。第一個級别的能力可以在6到12個月内實現。第2級能力可以在7到18個月内實現。第3級能力可以在18至48個月内實現。這一切都取決于所投入的努力和每個人的專業背景。

好，以上就是今天的分享。如果大家還有數據分析方面相關的疑問，就在評論區留言。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!