正态分布,這個我們從中學就學過的内容,真有這麼重要嗎?我想,真正學懂統計的人對這一點是不會質疑的,且不談特别高深的統計理論,徹底弄懂正态分布是靈活運用統計學中各種假設檢驗方法、看懂p值,理解均數置信區間的前提。今天,我嘗試帶着大家搞懂對于正态分布你需要知道的所有知識點。
作為統計學的基礎,我們會主要注重思維理解,複雜的數學計算在此略去。這并非意味着數學不重要,對數學的仔細專研恰恰會特别輔助理解和掌握,隻是對于大部分數學基礎不好的同學這個難度不小,所以我們在這裡會盡可能少用難懂的數學理論,用簡單的語言講清最基礎、最重要的邏輯。本篇文章主要來自于我們微信公衆号“丁點幫你”的SPSS與統計思維的系列課程的第七講 二項分布和正态分布,在這裡形成文字是為了不方便看視頻的同學學習和回顧。
1. 從名字說起
為什麼叫“正态分布”,也有地方叫“常态分布”,這兩個名字都不太直觀,但如果我們各取一字變為“正常分布”,就很白話了,而這正是“正态分布”的本質含義,Normal Distribution。它太常見了,基本上能描述所有常見的事物和現象:正常人群的身高、體重、考試成績、家庭收入等等。這裡的描述是什麼意思呢?就是說這些指标背後的數據都會呈現一種中間密集、兩邊稀疏的特征。以身高為例,服從正态分布意味着大部分人的身高都會在人群的平均身高上下波動,特别矮和特别高的都比較少見。
你可能不禁要問,這是為什麼?我們認為,這其實與我們前面所講的同質與變異的概念相關(參見課程第三講 統計學核心思維與統計描述)。因為我們研究的對象具有同質性(比如都是成年的中國男子),所以其特征往往是趨同的,即存在一個基準;但由于個體變異的存在(當然變異不會太大),這些特征又不是完全一緻,所以會以一定的幅度在基準的上下波動,從而形成了中間密集,兩側稀疏的特征。
2. 連續型随機變量研究區間概率
了解了正态分布的基本思想,我們來看看實際應用中我們需要掌握的要點。首先,正态分布屬于“連續型随機變量分布”的一類。我們知道,對于連續型随機變量,我們不關注“點概率”,隻關注“區間概率”,這是什麼意思?
我們看這個例子,假定随機變量X指是“北京市成年男子的身高”,理論上它可以取任意正數,所以我們把它當做一個連續型随機變量(連續型變量,就是指可以取某一區間或整個實數軸上的任意一個值的變量)來看待。這裡,我們先想一想如何計算P(X =1.87)? 即身高恰好完全exactly等于1.87的概率是多少,這就是所謂的“點概率”。更極端一點,讓随機變量Y是[0,1]這個區間上的任意一點,那麼Y的取值有多少個呢?無數多個,我們數不清楚,所以Y 取某一個具體的值的概率是1除以無數,即可以看做是0。于是,這裡透露一個很重要的結論:連續型随機變量取任意某個确定的值的概率均為0。因此,對于連續型随機變量,我們通常不研究它取某個特定值的概率,而研究它在某一段區間上的取值,比如身高在1.70~1.80的概率。
3. 概率密度函數
對于初學者來講,“概率密度”可能是最不友好的一個概念,直接談概率不行嗎,好好的為什麼要生出一個“密度”?的确,沒有太多數理基礎,這個概念着實不太好理解。雖然文字和數學公式上你可能感覺很陌生,但我們特别熟知的那條中間高、兩邊低的“鐘形曲線”恰恰就是正态分布的概率密度曲線。前面我們講了區間概率,這裡你就可以通過區間的角度來理解概率密度曲線:曲線越高,也就代表着這個區間的數據越密集,簡單理解成在同樣大小的房子裡,這個房間的人數更多、更擠。除此之外,另一個關于概率密度函數的重要知識點是,積分(這裡簡單理解為“密度曲線下面積“即可)等于概率。随機變量X在某個區間比如(a,b)即a
下圖中的三條曲線f(x),就是概率密度函數,各種形式的概率就是相對應的曲線下面積。這裡,數學基礎不太好的同學不用特别深挖積分的計算過程,但對這三張圖與對應的概率表達形式,同學們要熟知。
4. 均數和标準差
前面說對于正态分布的概率密度函數以及積分不用特别關注,那真正需要關注的是什麼呢?就是均數和标準差。這裡需要明确的是,一旦談及正态分布,我們首先要想到它的兩個參數:均數和标準差。每次一遇到正态分布就迅速找這兩個概念,最好形成條件反射,因為這兩個數才是我們日後運用正态分布解決實際問題的“利器”。
關于正态分布均數和标準差的性質,我們這裡簡單總結一下:1)概率密度曲線在均值處達到最大,并且對稱;2)一旦均值和标準差确定,正态分布曲線也就确定;3)當X的取值向橫軸左右兩個方向無限延伸時,曲線的兩個尾端也無限漸近橫軸,理論上永遠不會與之相交;4)正态随機變量在特定區間上的取值概率由正态曲線下的面積給出,而且其曲線下的總面積等于1 ;5)均值可取實數軸上的任意數值,決定正态曲線的具體位置;标準差決定曲線的“陡峭”或“扁平”程度:标準差越大,正态曲線越扁平;标準差越小,正态曲線越陡峭。這是因為,标準差越小,意味着大多數變量值離均數的距離越短,因此大多數值都緊密地聚集在均數周圍,圖形所能覆蓋的變量值就少些(比如1±0.1涵蓋[0.9,1.1]),于是都擠在一塊,圖形上呈現瘦高型。相反,标準差越大,數據跨度就比較大,分散程度大,所覆蓋的變量值就越多(比如1±0.5涵蓋[0.5,1.5]),圖形呈現“矮胖型”。
我們可以對照下圖直觀地看一下,圖中黃色曲線為A,藍色曲線為B,紫紅色曲線為C。如圖,我們可以看到均數的大小決定了曲線的位置,标準差的大小決定了曲線的胖瘦。A和B的均值一樣,但标準差不同,所以形狀不同,根據我們的描述,圖形越瘦高,标準差越小,圖形越扁平,标準差越大。确實如此,圖中B的标準差是1/2,小于A的标準差1。
5. 标準化與查表求概率
接下來,我們通過一個例子來看如何通過查表法計算正态分布變量在某個區間的概率。首先,我們看這個問題,說小明每天上學的通勤時間是一個随機變量X,這個變量服從正态分布。統計他過去20天的通勤時間(單位:分鐘):26、33、65、28、34、55、25、44、50、36、26、37、43、62、35、38、45、32、28、34。現在我們想知道他上學花30~45分鐘的概率。
首先,我們将問題轉化為數學表達式,要算他上學花30~45分鐘的概率,就是求P(30 < X < 45)。之前我們一直強調,一個變量服從正态分布,就要立馬考慮到它的均數和标準差是多少。這裡我們簡化一下用他過去20天的樣本數據來代替。所以,我們首先計算這20天通勤時間的樣本均數及标準差,分别為38.8(分鐘)和11.4(分鐘)。
然後,我們進行标準化,這一步很重要,也稱z變換。通過标準化,所有服從一般正态分布的随機變量都變成了服從均數為0,标準差為1的标準正态分布。對于服從标準正态分布的随機變量,專門用z表示。因此,求P(30 < X < 45),就轉換成了求P(-0.77 < Z < 0.54),标準化的具體計算為:
30 →(30-38.8)/ 11.4 = - 0.77
45 →(45-38.8)/ 11.4 = 0.54
X → Z
P(30 ≤ X ≤ 45)= P(-0.77 ≤ Z ≤ 0.54)
這裡簡單提醒一下,經過标準化後,原來的曲線的形狀不會變化,即不會改變胖瘦,隻是位置發生平移,比如下圖中的例子,經過标準化實際上隻是均數從1010移到了0。
完成z變換,我們就通過可以利用z值表找到對應的概率值。下圖就是z值表,一般的統計教科書後面都有,同學們也可以在網上查到。找不到的同學,可以關注我們的微信公衆号後台留言索取。
z值表
再三強調,圖中陰影部分的面積代表的是Z ≤ z的概率(注意是“≤”)。另外,還有兩個根據定義成立的兩個公式:一是P(Z ≥ z)= 1- P(Z ≤ z);二是P(Z≤-z)= 1-P(Z ≤ z)大家也需要了解。下面我們正式看看怎麼查表,前面我們已經把問題轉化成求P (-0.77 ≤ Z ≤0.54) = P (Z ≤ 0.54)–P (Z ≤ -0.77),于是,我們需要找當Z≤0.54和Z≤-0.77的概率值然後相減即可。
先看Z≤0.54的P值,對照下圖,首先看表格最左邊那一列,找到0.5,然後,因為0.54的第二位小數是4,所以定位到頂行找到“4”那一列,得到0.7054;同樣的方法,我們找到Z≤-0.77對應的P值0.2206。最後我們就能算出,P (-0.77 ≤ Z ≤0.54) = 0.4848,約等于0.5。因此,我們可以說,小明上學通勤時間花費30~45分鐘的概率是50%,這個概率還挺大的,占了一半。我們通過這個具體的例子詳細講解了随機變量在某個區間的概率求解,不是因為這個計算有多重要,而是想提前給你打好基礎,方便理解假設檢驗及p值等相關概念。
P (Z ≤ 0.54) = 0.7054
P (Z ≤ -0.77) = 0.2206
6. 三個百分數:68%,95%,99.7%
熟悉了Z變換、查表求概率,我們來看看正态分布運用十分廣泛的三個百分數:68%,95%,99.7%。先看标準正态分布,我們知道一個變量服從标準正态分布,它的均數是0,标準差是1,那除了這兩個數字之外,我們還能獲得更多的信息嗎?可以,這三個百分數告訴了我們答案。看下面這3個圖:
雖然理論上正态随機變量可以取無數個值,定義域是整個實數軸,但實際上在[-1,1]這個區間就包含了它可以取的68%的值,[-2,2]區間包含了95%的值,[-3,3]包含了它可能取的99.7%的值。這裡的1,2,3分别代表一個、兩個和三個标準差(标準正态分布的均數為0,标準差為1)。所以,根據這些,我們就可以推斷,一個服從标準正态分布的變量,它的取值很不可能超過2,極不可能超過3。這個用處非常大,一下子把我們要研究的重心從整個實數軸縮小到[-3,3]這個區間。另外,這裡雖然是以标準正态分布為例進行說明,但這個性質是完全可以推到普通的正态分布的變量的。百分數不變,不過均數和标準差不再是0和1,而是代入具體分布的均數和标準差即可。下面我們來看一個實際應用的例子。
某小學學生身高的平均值和标準差分别為1.4(米)和0.15(米),我們知道身高一般是服從正态分布的,由此我們可以知道這個學校有68%的學生的身高在1.25到1.55,這裡的1.25和1.55就是1.4加減0.15得到的(均數加減一個标準差),有95%的學生身高在1.1到1.7之間(均數加減兩個标準差),由此便極大地提升了我們對數據的掌握程度。講完這些你會發現一種巧妙的求解均數和标準差的方法:如果我們知道了某個變量的95%區間的取值(關于均值對稱),我們就可以算出對應的均數和标準差,進而幾乎知道了一切。
以上即為梳理的有關正态分布的關鍵知識點,希望大家在遇到假設檢驗和p值等概念的理解障礙時能回頭看看這些最基礎的要點,相信對你會有所幫助。
我們是誰?
我們是由畢業于北京大學的丁小丁和丁小點共同創立的,旨在搭建一個知識分享和一對一咨詢平台——丁點幫你。
希望通過我們的努力,給大家分享有價值的觀點和知識,同時讓您的問題得到及時的、有針對性的回答。歡迎掃描下方二維碼關注我們的微信公衆号“丁點幫你”。
歡迎交流,歡迎投稿!
"丁點幫你"微信公衆号
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!