今天這篇文章和大家聊聊期望和方差。

​

期望

期望這個概念我們很早就在課本裡接觸了，維基百科的定義是：它表示的是一個随機變量的值在每次實驗當中可能出現的結果乘上結果概率的總和。換句話說，期望值衡量的是多次實驗下，所有可能得到的狀态的平均結果。

我們舉兩個簡單的例子，第一個例子是擲骰子。

我們都知道一個骰子有6個面，分别是1，2，3，4，5，6。我們每次投擲得到其中每一個面朝上的概率都是一樣的，是1/6。對于投骰子這個事件而言，它的期望應該是:

也就是說，我們如果投擲大量的骰子，得到的平均結果應該是3.5，但是骰子上并沒有這個點數可以被擲出來。

另一個經典的例子就是博弈遊戲，老賭徒們水平各有高低，但一定深谙期望這個概念。舉個最簡單的例子，比如美國輪盤當中一個有38個數字，每次可以押一個數字。如果押中了，賭徒可以獲得35倍的獎金，如果押不中，錢打水漂。我們來算下期望：

我們可以發現這個期望是一個負值，也就是說短期内可能是盈利的，如果我們多次遊戲，必輸無疑。

方差

第二個概念是方差，方差衡量的是變量的離散程度。它的公式是：

這裡的μ指的是就是變量X的期望值。也就是說，方差指的是變量X與它期望值平方差的期望值，期望越大，表示X變量離散化越嚴重，越小，說明X波動範圍越小。

由于

一定是一個非負值，所以變量的方差一定是非負的。我們同樣用賭博舉個例子，假設我們現在有一個抛硬币的遊戲。每次抛一枚硬币，如果正面朝上則赢10000元，如果背面朝上呢，則輸9000元。我們很容易看出來，這個遊戲的期望是500元。也就是說我們平均每輪能赢500元。

但是，我們不用算就可以看出來這個遊戲的方差很大。如果我們真的去玩這個遊戲，大概率會在赢得很多和輸得很慘之間徘徊，很難穩定盈利。也有可能我們還沒有來得及赢錢就破産了。

通過方差這個概念，我們很容易理解為什麼在遊戲當中，倍押策略不可行。

所謂的倍押策略是指，在一個50%赢率的遊戲當中，我們當前如果輸了錢，那麼下一輪則倍押當前輸的錢。如果還輸了繼續倍押，直到赢為止。通過這種策略呢，可以抵抗連續輸的風險，理論上來說隻要最終赢一把，就可以赢回之前所有的錢。

我們了解了方差的概念之後，很容易發現這個策略是不可行的，因為這種策略的方差非常大。在盈利之前，很容易震蕩到一個不可能承受的值，也就是會出現傾家蕩産也不夠押下一把的情況。

标準差

下一個概念是标準差，理解了方差，标準差也就很好理解。标準差就是方差的平方根，和标準差一樣，同樣用來反映樣本的離散情況。

由于方差和标準差的定義和使用情況非常類似，所以一般情況下，我們使用方差的場景會更多。所以這裡不多介紹，大家知道這個概念和計算方法即可。

最小二乘法

最小二乘法非常出名，現在機器學習和深度學習很多模型都廣泛使用。所謂的二乘，其實就是平方的意思。也被稱為最小平方法，是一種用來評估預測結果與實際誤差的方法。

最小我們很容易理解，這裡的平方是什麼呢？

平方指的是誤差的平方，我們寫出公式，就很容易明白了：

這裡的y_pred指的是預測值，而y指的是樣本值。從公式我們可以看出來，其實平方誤差就是所有樣本預測值與真實值誤差的平方和。最小二乘法就是優化這個平方誤差，使得它盡可能小，來尋找最佳的

y_pred的方法。

這個方法主要用在回歸模型當中。

我們簡單介紹一下回歸模型的概念，在機器學習領域，最常用的模型可以分為回歸模型與分類模型。這兩者的差别就在于模型預測的結果不同，在分類模型當中，模型的預測結果是樣本所屬的類别。而回歸模型，模型的預測結果則是一個具體的值。

舉個簡單的例子，比如我今天要設計一個模型預測明天股票是漲是跌，顯然股票要麼漲，要麼跌，隻有兩種情況。所以這是一個分類模型，但如果我要預測明天股票的具體指數，那麼它的結果是一個具體的值，這個就是回歸模型。

我們通常使用平方誤差來反應回歸模型的預測能力，我們通過減小誤差，提升模型的能力，達到更加精确的效果。問題來了，我們怎麼減小誤差，為什麼減小誤差就能提升模型的能力呢？

首先，雖然我們将模型的預測結果簡寫成y_pred，這個y_pred不是天上掉下來的，它背後是模型通過一些參數以及自變量x計算出來的。舉個最簡單的例子，如果我們把一個一元一次函數看成是一個回歸模型，那麼方程可以寫成

這裡的w和b就是參數。

我們減小模型的平方誤差，也就是找到更好的w和b，使得它計算得到的y_pred更加精确，誤差更小。

那麼，我們怎麼減小誤差呢？

我們先來觀察一下誤差平方和的公式，可以發現，它是一個二次函數。我們高中的時候就曾經學過，二次函數求極值，可以通過求導得到。除了求導之外，還有一些其他的最優化方法，這些不是本文的重點，會在以後介紹線性回歸模型文章和大家分享。

最後，我們再回顧一下最小平方和和方差的公式，不知道大家有沒有什麼感覺。如果我們把樣本真實的結果看成是期望值，那麼誤差的平方和不就和方差一樣了嗎？

我個人認為是可以這麼理解的，就好像方差衡量的是樣本針對期望值的離散程度一樣，誤差平方和反應的是預測結果針對真實值的離散情況。自然預測結果在真實值離散程度越低，模型的效果越好。所以這兩個概念的本質是相通的。

期望、方差的概念我們大多數人都非常熟悉，而誤差平方和和最小二乘法則要陌生一些。希望大家通過本文，可以将對期望和誤差的理解遷移到誤差平方和和最小二乘法上。因為知識遷移一定是最快的學習路徑。

今天的文章就到這裡，希望大家有所收獲。如果喜歡本文，請順手點個關注或者轉發吧。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!