Data Science (數據科學)作為現如今最炙手可熱的領域之一,越來越受到人們的關注。而數據分析背後充滿了概率統計的知識。因此,打下良好的概率論基礎是必須的。
數據類型
‘巧婦難為無米之炊’,數據分析的‘主料’即為數據。當我們對一組數據作分析的時候,一定要明确的是,這組數據隻是研究對象(population)中的一部分樣本(sample)。我們隻是對一部分樣本進行分析,然後去推測出整個對象的規律。
首先,需要明确的是:數據分析中,數據量越多,樣本越大,結果越準确。
那有人會問,既然這樣,為什麼不搜集海量的數據呢?大部分的工作隻是為了找到一個近似的規律,而且過大的數據量會帶來收集費用的飙升、處理難度和時間的增加。因此,數據處理第一步,我們要試着去平衡數據量和處理的耗費(金錢與時間)。
數據類型大體分為兩種:數值(如房價)和類别(如品牌,姓名等)。
而數值型數據可細分為離散(不連續)和連續數據。
圖1: 概率分布類型
概率分布可以很好的展現數據的内在規律,圖1中就總結歸納了大部分的概率分布類型。接下來,我們就簡單的理解一下這些概率分布。
伯努利分布(Bernoulli Distribution)伯努利分布是概率分布中最簡單、最基本也是最基礎的分布形式之一。我們從圖1可以看到很多複雜的概率分布都是基于伯努利分布。
怎麼理解伯努利分布呢?單次實驗和兩種情況。
伯努利分布代碼
伯努利分布
舉例說明:假如女人生孩子,生男孩概率是60%,生女孩概率是40%。那麼,伯努利分布就是--- 生一次孩子,生男孩的概率為 p = 60%, 而生女孩的概率為 1 - p = 40%。如上圖所示。
關鍵詞:單次實驗,兩種情況分類
二項式分布(Binomial Distribution)基于前面介紹的伯努利分布,可以衍生出二項式分布:n重伯努利試驗「成功」次數的離散概率分布。繼續以生孩子為例:
生一次孩子,生男孩的概率為 p = 60%, 而生女孩的概率為 1 - p = 40%。
假如生了 n 個孩子,其中男孩為 x 個,女孩為(n - x)的概率。
重點:
二項式分布公式
如果我們假定生了 n 個孩子,其中男孩是4個(固定值),那麼随着n的變化,二項式分布的概率圖會怎麼變呢?
二項式分布代碼
二項式分布圖
如上圖所示,如果生了4孩子且全是男孩,概率0.6的四次方 = 0.1296。 當生了6個孩子的時候,有四個是男孩的概率達到了0.311。并且随着孩子越來越多,幾乎不可能保證隻生了4個男孩,其他都是女孩,畢竟單次生男孩的概率要大一些。
正态分布(高斯分布)正态分布是最最最重要的分布之一,在數據分析領域也是最常見的分布之一。我們生活中很多常見現象都遵循正态分布,比如說收入分布,身高分布等等。
正态分布
舉個例子,比如說你去相親,而你最在意的标準是相親對象的身高,所以你對相親對象的身高做了統計,你會發現大部分人的身高會集中在一定的範圍呢,而隻有很少的人會很高或者很矮。
身高分布
大部分的女生會集中在155到160 cm之間,這也很符合我們日常所見。
正态分布的特點:
正态分布
正态分布中,最重要的兩個參數是 平均值 μ 和标準差 σ。也就是說如果告訴我們這兩個參數,我們就可以知道正态分布下每種情況出現的概率。
正态分布
上面這張圖是什麼意思呢?具體來說就是,滿足正态分布,68.27%的情況都會出現在平均值正負1個标準差以内。比如說,女生身高平均值是160 cm, 标準差為5 cm。那麼,68.27%的女生的身高會在155 到 165 cm之間。95.45%的女生身高在150 (平均值減去2個标準差)到170 cm之間。
在機器學習領域,很多的機器學習模型也是遵循正态分布的,比如說:
泊松分布适合于描述單位時間内随機事件發生的次數的概率分布。如某一服務設施在一定時間内受到的服務請求的次數,電話交換機接到呼叫的次數、汽車站台的候客人數、機器出現的故障數、自然災害發生的次數、DNA序列的變異數、放射性原子核的衰變數、激光的光子數分布等等。 --------------維基百科
泊松分布
泊松分布的計算公式如上。λ是單位時間(或單位面積)内随機事件的平均發生率,比如說你預測一天平均有300人來醫院就診。而醫院醫生的滿負荷量是400人,那麼出現一天有400人就診的概率則滿足泊松分布。
泊松分布
知道泊松分布有什麼用呢?根據單位時間内出現概率的大小可以做出決策。比如說,當你舉辦一次抽獎活動,你的設計是平均每天隻有5(λ)個一等獎産生,那麼,就可以算出來一天産生了10個一等獎概率是多少?0.018132788707821854。
也就是說一天出現10次一等獎概率隻為1.8%。 可以放心了,不會超預算了!
總結概率學在人類生活決策中随處可見。很多人過着不滿意的生活,可能就是放棄了概率選擇權的原因。什麼概率選擇權呢?
比如說,有個富豪說給你兩種選擇:
- 直接給你500萬;
- 你可以抽獎,概率是50%機會拿到2000萬,而50%概率什麼也沒有;
那麼你會選擇什麼呢?
大部分人會選擇第一種。因為落袋為安,我可承受不起第二種什麼也沒抽到的情況,我會後悔死。
但是,我們從概率學來說,第一種的期望值是500萬 (出現的情況 * 出現的概率 之和: 500 * 100%),而第二種的期望值是(50% * 2000 50% * 0 = 1000萬)。第二種選擇的期望值明顯要高于第一種。這個比較抽象,和具體現實沒聯系。
那麼,這種情況呢?
比如說:你在大公司年薪10萬,工作穩定。現在有一個創業公司過來挖你,給出的工資是5萬,但是有股票(股票隻能上市之後兌現,價值5000萬)。但是創業都是九死一生,成功上市的概率可能隻有1%。
這種情況你會如何選擇呢?如果可以,請留言告訴我你的答案,我們也好看看你是否也放棄了概率選擇權。
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!