tft每日頭條

 > 生活

 > spss顯著性分析教程

spss顯著性分析教程

生活 更新时间:2025-01-16 12:37:20

讨論顯著性之前,先介紹一個法學史上著名的案件:辛普森殺妻案。

辛普森是美國著名的橄榄球運動員,其妻子在 1994 年夏天的某個夜晚被殺害,警察在調查案件的過程中将辛普森定為唯一的嫌疑人。在美國是适用無罪推定的,所以當這個案件開庭審理時,辛普森是被假設無罪的(零假設),檢方(提起訴訟的檢察院)需要提供證據證明其有罪(對立假設)。

在諸多證據中,一個很有力的間接證據是警察在兇案現場找到了辛普森的血迹,單從這一點看似乎已經能證明辛普森至少在案發現場出現過,甚至可以間接證明他就是兇手,可謂是鐵證如山。到這裡,似乎已經可以給辛普森定罪了,因為有了很可靠的證據證明零假設是不成立的。不過,檢方有個強大的對手,由六名頂尖律師組成,被稱為“夢之隊”的辯方律師團。辯方律師考察了警察調查兇案中的每一個過程,發現采集血樣的流程不符合規範。按照正常程序,在采集血迹時應當先用棉花沾起血迹樣本,待自然風幹後才能放入證據袋中,可是警方檢驗人員在血迹尚未風幹時就已将樣本放入證據袋。在刑事訴訟的證據認定環節,血迹和 DNA 檢驗結果是毋庸置疑的鐵證,但是,如果血迹受到污染、不當處理、草率采集或有人故意栽贓,那麼它的可信度會大幅降低。由于警方的操作失誤,檢方最重要的“鐵證”被認定無效。

辛普森案中的血迹證據是能推翻零假設的有力證據。但是,這個證據要具備一定的可靠度才能有效。訴訟中的證據的可靠性,就是假設檢驗中證明零假設無效證據的顯著性。在該案中,檢方收集了很多其他證據,包括毛發、帶血迹手套等,都因辯方質疑其可靠性而無效。

顯著性檢驗

證據要達到某一個顯著性水平才可以推翻零假設。在通常經驗中,統計學家喜歡用 5%作為顯著性水平的門檻,這意味着如果零假設的成立概率不到 5%,就可以推翻零假設,反過來說,如果對立假設成立的概率超過 95%,也可以推翻零假設。

95% 這個數字看起來是不是很熟悉,這是很重要的一個标志性節點,是 68-95-99.7 法則中的數值(請參閱 7.4.2 節)。其實際意義是,在正态分布中,從均值向兩側各移動兩個标準差的距離,可以覆蓋全部數據的 95%。這是做顯著性檢驗的一個重要指标。

9.1.1 節中讨論過有方向對立假設和無方向對立假設,對立假設分為這兩種情況分别對應着單側檢驗和雙側檢驗。

1. 樣本均值單側檢驗

8.2 節中介紹的飲料公司在完成偏好低糖口味人群占比的調研後,便開始生産低糖飲料,第一批産品已經生産完畢,但是新品要通過質檢部門的檢驗,達到國家标準才可以上市流通。

低糖飲料的國家标準是每 100 克飲料中含糖量小于 5 克。質檢人員從該批産品中抽取100 瓶飲料,每瓶飲料中取出 100 克組成一個樣本。經過計算得知該樣本的含糖量均值是5.25 克,标準差是 1 克。

完整的假設檢驗過程如下

。第一步,提出假設。

™ 零假設:飲料新品的含糖量均值小于 5 克。

™ 對立假設:飲料新品的含糖量超過 5 克。

第二步,抽樣分布。

如果零假設為真,樣本均值抽樣分布應該是正态分布,且均值為 5,标準誤差為

spss顯著性分析教程(顯著性檢驗)1

0.1(标準誤差的計算方法請參閱 8.3.1 節)。這裡需要對總體标準差說明,在現實世界中,很多總體的标準差是無法得知的,通常是用樣本的标準差近似代替,所以在本例中計算标準誤差時,用樣本标準差 1 代理了總體标準差。

第三步,檢驗。

從均值 5 向左右兩側各移動 2 個标準差的區間是 4.8 ~ 5.2,通過 68-95-99.7 法則可知,這個區間剛好是 95%,如圖 9-2 所示。而 100 瓶樣本的含糖量均值 5.25 位于 5.2 的右邊,即圖中陰影區域部分。注意,圖 9-2 的陰影區域隻有右側部分,而左側沒有,因為要檢驗的是高于 5 克這個标準,是有方向的,對于低于 5 克的值是不需要關心的,所以隻驗證右側即可,這就是單側檢驗。超過兩個标準差以外的比例是 5%,而單邊檢測要更少,隻有 2.5%,也就是說 5.25 是落在了 2.5% 的水平以内。

spss顯著性分析教程(顯著性檢驗)2

圖 9-2 低糖飲料樣本均值抽樣分布

第四步,結論。

按照通常經驗設置的顯著性水平是 5%,樣本均值 5.25 恰好沒有進入 95% 的區間,可以就此認定零假設被推翻,這批新品沒有達到國家低糖飲料的标準要求,含糖量過高,不能上市。

2. z 檢驗

用樣本均值抽樣分布檢驗顯著性水平更方便的方法是用 z 值代替标準差(z 值的概念請參閱 7.4.4 節)。例如,圖 9-2所示,标準誤差是 0.1,5.25對比均值 5 是向右移動了 2.5個标準差,超過95%的範圍。用标準差的好處在于無論多麼大或多麼小的數據,都可以更直觀地進行比較。

想要用 z 值代替标準差,首先要把均值抽樣分布标準化成标準正态分布,标準化的具體方法如下。如圖 9-3所示,右側比較矮的分布曲線是均值為 9,标準差為 1.2 的正态分布,将曲線的整體向左移動 9 個單位,均值将位于橫軸的 0 點,再将标準差縮小 1.2 倍,曲線就會變瘦,變成标準差為 1 的形狀,圖 9-3 左側的曲線就是變化後的标準正态分布。

spss顯著性分析教程(顯著性檢驗)3

圖 9-3 正态分布标準化過程

變成标準正态分布以後,不能用原來的檢驗标準,要将所有檢驗值轉化成 z 值(轉化 z值的方法請參閱 7.4.4 節)。以低糖飲料的檢驗值為例,如圖 9-4 所示。

spss顯著性分析教程(顯著性檢驗)4

圖 9-4 将檢驗值标準化成 z 值

這裡要提出一個重要概念:統計量,圖 9-4 中的第 3 行是檢驗統計量的例子。檢驗統計量是用來度量已測量的樣本數據和零假設下的期望值之間的差距,并且這個距離要用 z 值來表示。在本例中,已測量的樣本數據是 5.25,零假設期望的數據是 5,二者間的距離是

spss顯著性分析教程(顯著性檢驗)5

檢驗統計量被稱為 z,按照以上例子可知,z 統計量的表達式如下。

spss顯著性分析教程(顯著性檢驗)6

所有應用這個比值的檢驗就稱為 z 檢驗。

對于顯著性水平為 5% 的假設,隻要判斷 z 統計量是否落在 -2 和 2 之間,在低糖飲料單側檢驗中,z 統計量 2.5 是大于 2 的,即低于 5% 的顯著水平,如圖 9-5 所示。通過 z 統計量的正負也可以立刻了解到是在分布的右側還是左側,在本例中 z 統計量為 2.5,是正值,分布在右側。

spss顯著性分析教程(顯著性檢驗)7

圖 9-5 低糖飲料樣本均值抽樣分布标準化

3. P 值

在低糖飲料單側檢驗中,z 檢驗量 2.5,如圖 9-6 所示中的實心黑點所示,單側檢驗的 P值就是該正态分布曲線 2.5 右側的面積,即圖中陰影面積值。

spss顯著性分析教程(顯著性檢驗)8

圖 9-6 Z 統計量是 2.5 時的單側檢驗的 P 值

如果再抽取一個樣本,這次 z 統計量是 3,說明這是推翻零假設更為有力的證據,如果z 統計量是 2.1,也能推翻原假設,但是證據的力度比起 2.5 和 3 就比較弱,換句話說,2.5右邊的面積代表那些會給出比觀察值更極端 z 值的樣本,同時也是推翻零假設更有利的證據。

p 值(P-value)是在零假設為真時,得到一個與當前樣本測量值相同或更極端結果出現的機會。p 值越小,推翻原假設的證據越強。

從以上的計算過程可以看出,p 值的大小和标準誤差有很大關系,而标準誤差又和樣本量有很大關系,如果樣本量很大,标準誤差就會很小,p 值也會很小。顯著性檢驗的 p 值和樣本量是密切相關的,所以在報告 p 值時要一起報告樣本量,否則無法衡量 p 值的測量力度。

通過查 z 值百分數分布表,可以得到 z 值為 -0.25 左側的占比為 0.62%,所以 p 值為0.62%。取 z 值為 -0.25 是因為左右面積是對稱的,如果用 z 值為 2.5 查表,得到的 2.5 左側的面積占比,是 99.38%,p=1-99.38%=0.62%,這樣多計算了一步,是不必要的。

4. 樣本均值雙側檢驗

假設某數據存儲服務商出現了重大事故,又導緻了 3 批數據洩露,A 銀行正好也使用此服務,A 銀行希望确認自己的數據是否已經被洩露,于是立即進行檢驗。A 銀行拿到已經洩露的3 批數據以後,分别計算了每組數據的均值和标準差,同時也計算出 A 銀行總體客戶數據的均值和标準差,結果如圖 9-7 所示。

spss顯著性分析教程(顯著性檢驗)9

圖 9-7 洩露數據和 A 銀行的均值及标準差

恰好這 3 批數據都是 10000 個客戶,可以建立 3 個零假設,在标準化的正态分布中一起檢驗。

3 個零假設分别如下。

™ Ⅰ組數據是 A 銀行的數據。

™ Ⅱ組數據是 A 銀行的數據。

™ Ⅲ組數據是 A 銀行的數據。

如果零假設為真,3 組數據都服從 A 銀行的均值抽樣分布,均值是 7000,标準誤差是

spss顯著性分析教程(顯著性檢驗)10

用z 值在正态分布曲線中找到 p 值的面積,具體方法如圖 9-9 所示。

spss顯著性分析教程(顯著性檢驗)11

圖 9-9 三組數據的 p 值

三個圖的共同特點是,對稱的一對 z 值兩側的陰影面積都算作 p 值,因為不知道洩露的數據整體大于還是小于 A 銀行的數據,所以要兩邊都做檢驗,這就是雙側檢驗。

在 z 值百分位表中查得 -3.8、-1.9、-2.6 的百分位數分别是 0.01%、2.87%、0.47%,需要注意的是,雙側檢驗計算 p 值是單側 p 值的雙倍,3 組 p 值計算如下。

p Ⅰ =0.01%×2=0.02%

p Ⅱ =2.87%×2=5.74%

p Ⅲ =0.47%×2=0.94%

假設顯著水平為 5%,Ⅰ組和Ⅲ組的 p 值都很小,足夠推翻零假設,說明Ⅰ組和Ⅲ組和A 銀行無關。Ⅱ組數據的 p 值是 5.74%,無法推翻零假設,說明零假設為真,洩露的Ⅱ組數據是 A 銀行的。

兩個群體的z檢驗

1. 兩個群體的平均差檢驗

某中學的理科班連續三年高考成績下滑,2017 年的平均分是 449.7 分,2019 年的平均分是 439.6 分,平均分降低了 10.1 分,這是真的在下降,還是偶然現象呢,可以用 z 檢驗來對比兩個群體的差異。獨立樣本是指從總體中抽取一個樣本,用樣本檢驗總體,樣本是總體的一個子集,換句話說,樣本的每一個元素都包含在總體内。兩個群體的比較是指兩個總體比較,二者之間沒有包含關系,完全是互不相幹的,如本例中想要比較 2017 年和 2019年的學生高考成績,2017 年的考生和 2019 年的考生是完全不同的群體,要測量的是二者之間的實際差距與理想中的差距有多少,同樣也是通過樣本來推斷的。

分别對 2017 年和 2019 年的考生進行随機抽樣,各抽取 300 人,樣本 2017 年的标準差是 42.1,樣本 2019 年的标準差是 49.5。

第一步,建立假設。零假設:2019 年和 2017 年相比,成績沒有變化。對立假設:2019 年相比 2017 年,成績降低。

第二步,設置零假設風險水平,無特殊情況下,沿用常規的 5%。

第三步,計算檢驗統計量。

觀察計算 z 統計量所需要的數據。

spss顯著性分析教程(顯著性檢驗)12

(1)觀察值是 449.7-439.6=10.1,這個差值是現在觀察到的結果。

(2)零假設下的期望值是這兩年的平均分沒有變化,那麼二者差值是 0。

(3)相比獨立樣本标準誤差,群體是比較兩個群體的差的标準誤差。

用 SE 表示标準誤差,樣本 2017 年的标準誤差是 SE1,樣本 2019 年的标準誤差是SE2。測算二者距離通常用兩種方法,一是直接相減,但是由于有正負号,容易彼此抵消為0。第二種方法是求二者平方和再開方,可以排除掉正負号的影響,7.2.2 節中計算方差就是用的這種方法。在本例中:

spss顯著性分析教程(顯著性檢驗)13

将以上 3 個數值代入 z 統計量的計算公式如下所示。

spss顯著性分析教程(顯著性檢驗)14

第四步,對比 p 值。

查詢 z 值百分數分布表(請參閱 7.4.5 節),可以知道z=2.7 右側面積是 p=1-0.9965=0.0035=0.35%,p 值低于顯著水平 5%,可以由此拒絕原假設。連續三年的成績下降是真實的。

2. 用 Excel 做 z 檢驗

北京某大型居住社區 70% 的房屋都是出租的,通常情況下,租金單價會因戶型面積不同而不同,現在拟分析租金和戶型面積的關系,以 50 平方米為界限,在 50 平方米以下和 50 平方米以上的戶型分别随機抽取 30 套房屋,驗證租金單價主要受到戶型面積影響,而非裝修、朝向等其他因素導緻的偶然差異。

抽樣的結果如圖 9-10 所示。

spss顯著性分析教程(顯著性檢驗)15

圖 9-10 北京某大型居住區按50 平方米為界限抽樣結果

通過已有的數據可知,50 平方米以下戶型的租金單價方差為 63,50 平方米以上戶型的租金單價方差為 89,驗證兩種戶型租金單價差異,步驟如下。

步 驟 1依次單擊【數據】選項卡→【數據分析】按鈕,打開【數據分析】對話框。

步 驟 2在【數據分析】對話框的【分析工具】列表框中選擇【z 檢驗:雙樣本平均差檢驗】選項,單擊【确定】按鈕,打開【z 檢驗:雙樣本平均差檢驗】對話框。

步 驟 3在【z 檢驗:雙樣本平均差檢驗】對話框中設置相關參數。(1)單擊【變量 1 的區域】編輯框右側的折疊按鈕,選擇包含 50 平方米以下戶型的A3:A32 單元格區域,單擊【變量 2 的區域】編輯框右側的折疊按鈕,選擇包含 50 平方米以上戶型的 B3:B32 單元格區域。

(2)【假設平均差】是零假設的數值,在本例中,零假設是 50 平方米以下和 50 平方米以上的戶型租金單價沒有差異,所以輸入 0。

(3)【變量 1 的方差 ( 已知 )】是 50 平方米以下戶型的總體的方差,輸入 62,同理,【變量 2 的方差 ( 已知 )】文本框中輸入 89。

(4)【α】是設置的顯著性水平,無特殊情況都按 5% 設置,在右側的文本框中輸入 0.05。

(5)在【輸出選項】選項區域下選中【輸出區域】單選按鈕,單擊右側的折疊按鈕,選擇 D1 單元格為保存結果的起始位置。最後單擊【确定】按鈕,如圖 9-11 所示。

spss顯著性分析教程(顯著性檢驗)16

圖 9-11 雙樣本平均差 z- 檢驗

在 D1 單元格開始的區域保存的 z- 檢驗結果,如圖 9-12 所示。

spss顯著性分析教程(顯著性檢驗)17

圖 9-12 z- 檢驗結果

由以上結果中可以得知,z 值約為 2.8,查詢 z 值百分數分布表(請參閱 7.4.5 節),可以知道 z=2.8 右側面積是 P=1-0.9974=0.0026=0.26%,P 值低于顯著水平 5%,可以由此拒絕零假設。結論是 50 平方米以下和 50 平方米以上的戶型面積的房屋,其租金單價有顯著差異。

兩類錯誤

零假設在設定時是假定兩個群體沒有差别,真實情況是可能有差異,也可能無差異,顯著性水平 5% 的标準是人為劃定的,就像通常都是 60 分及格,但是 59 分和 60 分能差多少呢?能證明得 59 分的同學比得 60 分的同學差嗎?一分之差無法判斷同學間的差異,但是成績排名中總要劃一條及格線,用以區分類别。5% 就是統計學家通過經驗劃的一條線,這是個經驗值而不是數學定理,是經驗就有錯誤的可能性。檢驗中的各種可能結果如表 9-2 所示。

表 9-2 檢驗中的各種可能結果

零假設是否為真

經過假設檢驗後的決策

接受零假設

推翻零假設

零假設是真實的

決策正确

第Ⅰ類錯誤(棄真錯誤或 α 錯誤)

零假設是虛假的

第Ⅱ類錯誤(取僞錯誤或 β 錯誤)

決策正确

第Ⅰ類錯誤也稱為棄真錯誤,出錯的概率用 α 表示,所以也稱為 α 錯誤。零假設是真實的,經過檢驗後将其推翻。

某銀行發生了一起搶劫案,被搶走大量現金,銀行為了防止損失,在每一捆現金中都放了一張可追蹤的鈔票,警察通過這個線索快速定位了嫌疑人的位置,趕到時發現是一個居民住宅,裡面住着一個中年男人,在他們家地窖找到了贓款。法官以藏匿贓款為證據,判定了嫌疑人有罪。實際上這是中年男人的鄰居偷偷趁他不在時放進地窖的,打算等人們漸漸淡忘以後再去取出來。可是證據足夠充分,給無辜的人判罪,同時放跑了真正的罪犯。

第Ⅱ類錯誤也稱為取僞錯誤,出錯的概率用 β 表示,所以也稱為 β 錯誤。零假設是虛假的,經過檢驗後接受了該假設。美國大多數民衆至今認為辛普森是殺害他妻子的真正兇手,隻是因為證據不夠可靠,所以才讓兇手逃脫了。在他們心中,辛普森案件一直都是第Ⅱ類錯誤。

這兩類錯誤越少越好。第Ⅰ類錯誤在做顯著性檢驗的時候就做了控制,P 值是為了做檢驗而承擔的風險,如果覺得需要嚴格控制,就把 5% 的水平降低到 1%,很多科學家為了得到更精确的結果會選用更嚴格的顯著性水平。5% 的經驗是在沒有計算機的年代定的,當時的計算能力沒有那麼強,無法得到更高的精度,在計算機的幫助下,現在很多情況下,顯著性水平都精确到了 1%。

第Ⅱ類錯誤沒有控制,但是與樣本規模相關性很高。樣本量越大時,第Ⅱ類錯誤就越低,也就是樣本越接近總體,接受假的零假設的可能性就越低。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2025 - www.tftnews.com All Rights Reserved