“你的輸入變量/特征必須是高斯分布的”是一些機器學習模型(特别是線性模型)的要求。但我怎麼知道變量的分布是高斯分布呢。本文重點介紹了保證變量分布為高斯分布的幾種方法。
本文假定讀者對高斯/正态分布有一定的了解。
在本文中,我們将使用來自Scikit-Learn的衆所周知的Iris數據。
首先,讓我們導入所需的包。
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
#Converting the data from an array to a data frame
X = pd.DataFrame(load_iris()["data"]).copy()
輸入特性/變量為[0,1,2,3]
方法一:直方圖法這是第一個和一個簡單的方法,用來得到一個變量的分布。讓我們畫出Iris 數據變量的直方圖。
X.hist(figsize=(10,10))
上面的直方圖顯示變量0和1接近于高斯分布(1似乎是最接近的)。而3和4看起來完全不是高斯的。需要注意的是,直方圖可能會産生誤導(具體可參考我們以前的文章)。
方法二:密度圖(KDE圖)密度圖是繪制變量分布的另一種方法。它們與直方圖類似,但與直方圖相比,它們能更清楚地顯示變量的分布情況。
fig,ax = plt.subplots(2,2,figsize=(10,10))
row = col = 0
for n,c in enumerate(X.columns):
if (n%2 == 0) & (n > 0):
row = 1
col = 0
X[c].plot(kind="kde",ax=ax[row,col])
ax[row,col].set_title(c)
col = 1
現在我可以看到變量0和1比在直方圖中顯示的更高斯化。變量2和3看起來也有點接近高斯分布,除了兩個峰值。
方法三:Q-Q圖Q-Q圖根據指定的分布繪制數據。在這種情況下,指定的分布将是“norm”。
在Python中,Q-Q plot可以使用' scipy '的' probplot '函數繪制。如下所示。
from scipy.stats import probplotfor i in X.columns:
probplot(x=X[i],dist='norm',plot=plt)
plt.title(i)
plt.show()
從上面的Q-Q圖可以看出,變量0和1緊密地跟随紅線(正态/高斯分布)。而變量2和3在一些地方遠離紅線,這使它們遠離了高斯分布。Q-Q圖比直方圖和密度圖更可靠。
方法四:Shapiro-Wilk檢驗夏皮羅-威爾克(Shapiro-Wilk)檢驗是一項針對正态性的統計檢驗。 這是用于檢驗正态性的定量方法。 Shapiro-Wilk檢驗通過檢驗零假設:即數據是從正态分布中提取的。來确定是否是正态分布
在Python中,可以使用' scipy '的' shapiro '函數執行shapiro - wilk檢驗。如下所示。
from scipy.stats import shapiro
for i in X.columns:
print(f'{i}: {"Not Gaussian" if shapiro(X[i])[1]<0.05 else "Gaussian"} {shapiro(X[i])}')
從上面的結果可以看出,隻有變量1是高斯型的。
Shapiro-Wilk檢驗的一個缺點是,一旦樣本大小(或變量的長度)超過5,000,就不可靠。
方法五:Kolmogorov-Smirnov檢驗Kolmogorov-Smirnov檢驗是一項拟合優度的統計檢驗。 此測試比較兩個分布(在這種情況下,兩個分布之一是高斯分布)。 此檢驗的零假設是,兩個分布相同(或),兩個分布之間沒有差異。
在Python中,可以使用“ scipy.stats”模塊的“ kstest”執行Kolmogorov-Smirnov測試,如下所示。
首先,我們将對随機生成的正态分布進行測試。
from scipy.stats import kstest
np.random.seed(11)
normal_dist = np.random.randn(1000)
pd.Series(normal_dist).plot(kind="kde")
print(f'{"Not Gaussian" if kstest(normal_dist,"norm")[1]<0.05 else "Gaussian"} {kstest(normal_dist,"norm")}')
現在我們将對Iris數據進行測試。
from scipy.stats import kstest
for i in X.columns:
print(f'{i}: {"Not Gaussian" if kstest(X[i].values,"norm")[1]<0.05 else "Gaussian"} {kstest(X[i].values,"norm")}')
以上結果表明,沒有變量具有高斯分布。 Kolmogorov-Smirnov檢驗期望輸入變量具有理想的正态分布。
方法六:D’Agostino和Pearson的法此方法使用偏度和峰度測試正态性。 該檢驗的零假設是,分布是從正态分布中得出的。
在Python中,可以使用“ scipy.stats”模塊的“ normaltest”功能執行此測試,如下所示。
from scipy.stats import normaltest
for i in X.columns:
print(f'{i}: {"Not Gaussian" if normaltest(X[i].values,)[1]<0.05 else "Gaussian"} {normaltest(X[i].values)}')
以上結果表明變量0和1為高斯。 此測試并不期望分布是完全正态分布,而是接近正态分布。
總結這些是用于測試數據正常性的許多方法中的幾種。 我個人更喜歡結合以上所有方法來确定變量的分布是否為高斯分布,同時要牢記所使用的數據,問題和模型。
作者:KSV Muralidhar
deephub翻譯組
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!