“你的輸入變量/特征必須是高斯分布的”是一些機器學習模型(特别是線性模型)的要求。但我怎麼知道變量的分布是高斯分布呢。本文重點介紹了保證變量分布為高斯分布的幾種方法。

本文假定讀者對高斯/正态分布有一定的了解。

在本文中，我們将使用來自Scikit-Learn的衆所周知的Iris數據。

首先，讓我們導入所需的包。

import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.datasets import load_iris #Converting the data from an array to a data frame X = pd.DataFrame(load_iris()["data"]).copy()

輸入特性/變量為[0,1,2,3]

這是第一個和一個簡單的方法，用來得到一個變量的分布。讓我們畫出Iris 數據變量的直方圖。

X.hist(figsize=(10,10))

上面的直方圖顯示變量0和1接近于高斯分布(1似乎是最接近的)。而3和4看起來完全不是高斯的。需要注意的是，直方圖可能會産生誤導（具體可參考我們以前的文章）。

密度圖是繪制變量分布的另一種方法。它們與直方圖類似，但與直方圖相比，它們能更清楚地顯示變量的分布情況。

fig,ax = plt.subplots(2,2,figsize=(10,10)) row = col = 0 for n,c in enumerate(X.columns): if (n%2 == 0) & (n > 0): row = 1 col = 0 X[c].plot(kind="kde",ax=ax[row,col]) ax[row,col].set_title(c) col = 1

現在我可以看到變量0和1比在直方圖中顯示的更高斯化。變量2和3看起來也有點接近高斯分布，除了兩個峰值。

Q-Q圖根據指定的分布繪制數據。在這種情況下，指定的分布将是“norm”。

在Python中，Q-Q plot可以使用' scipy '的' probplot '函數繪制。如下所示。

from scipy.stats import probplotfor i in X.columns: probplot(x=X[i],dist='norm',plot=plt) plt.title(i) plt.show()

從上面的Q-Q圖可以看出，變量0和1緊密地跟随紅線(正态/高斯分布)。而變量2和3在一些地方遠離紅線，這使它們遠離了高斯分布。Q-Q圖比直方圖和密度圖更可靠。

夏皮羅-威爾克(Shapiro-Wilk)檢驗是一項針對正态性的統計檢驗。 這是用于檢驗正态性的定量方法。 Shapiro-Wilk檢驗通過檢驗零假設：即數據是從正态分布中提取的。來确定是否是正态分布

在Python中，可以使用' scipy '的' shapiro '函數執行shapiro - wilk檢驗。如下所示。

from scipy.stats import shapiro for i in X.columns: print(f'{i}: {"Not Gaussian" if shapiro(X[i])[1]<0.05 else "Gaussian"} {shapiro(X[i])}')

從上面的結果可以看出，隻有變量1是高斯型的。

Shapiro-Wilk檢驗的一個缺點是，一旦樣本大小（或變量的長度）超過5,000，就不可靠。

Kolmogorov-Smirnov檢驗是一項拟合優度的統計檢驗。 此測試比較兩個分布（在這種情況下，兩個分布之一是高斯分布）。 此檢驗的零假設是，兩個分布相同（或），兩個分布之間沒有差異。

在Python中，可以使用“ scipy.stats”模塊的“ kstest”執行Kolmogorov-Smirnov測試，如下所示。

首先，我們将對随機生成的正态分布進行測試。

from scipy.stats import kstest np.random.seed(11) normal_dist = np.random.randn(1000) pd.Series(normal_dist).plot(kind="kde") print(f'{"Not Gaussian" if kstest(normal_dist,"norm")[1]<0.05 else "Gaussian"} {kstest(normal_dist,"norm")}')

現在我們将對Iris數據進行測試。

from scipy.stats import kstest for i in X.columns: print(f'{i}: {"Not Gaussian" if kstest(X[i].values,"norm")[1]<0.05 else "Gaussian"} {kstest(X[i].values,"norm")}')

以上結果表明，沒有變量具有高斯分布。 Kolmogorov-Smirnov檢驗期望輸入變量具有理想的正态分布。

此方法使用偏度和峰度測試正态性。 該檢驗的零假設是，分布是從正态分布中得出的。

在Python中，可以使用“ scipy.stats”模塊的“ normaltest”功能執行此測試，如下所示。

from scipy.stats import normaltest for i in X.columns: print(f'{i}: {"Not Gaussian" if normaltest(X[i].values,)[1]<0.05 else "Gaussian"} {normaltest(X[i].values)}')

以上結果表明變量0和1為高斯。 此測試并不期望分布是完全正态分布，而是接近正态分布。

這些是用于測試數據正常性的許多方法中的幾種。 我個人更喜歡結合以上所有方法來确定變量的分布是否為高斯分布，同時要牢記所使用的數據，問題和模型。

作者：KSV Muralidhar

deephub翻譯組

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!