最小二乘法通俗易懂? 在統計學中有一個很有意思的方法叫做最小二乘法最小二乘法在統計學的地位很高，可類比于微積分在數學上的地位有意思的是最小二乘法和微積分的發現有諸多相似之處，尤其是誰是第一個發現的有據可考的是勒讓德最先發表了有關最小二乘法的文章，高斯随後就發表相關文章，二者也是争吵多年，但是勒讓德的名聲顯然比不了高斯不過最終也是沒有争出個高下來，因為二者的最小二乘法不盡相同和當年牛頓和萊布尼茲類似，一個認為是微小的量，一個認為是流數，也是吵了大半個世紀，現在小編就來說說關于最小二乘法通俗易懂?下面内容希望能幫助到你，我們來一起看看吧!

最小二乘法通俗易懂

在統計學中有一個很有意思的方法叫做最小二乘法。最小二乘法在統計學的地位很高，可類比于微積分在數學上的地位。有意思的是最小二乘法和微積分的發現有諸多相似之處，尤其是誰是第一個發現的。有據可考的是勒讓德最先發表了有關最小二乘法的文章，高斯随後就發表相關文章，二者也是争吵多年，但是勒讓德的名聲顯然比不了高斯。不過最終也是沒有争出個高下來，因為二者的最小二乘法不盡相同。和當年牛頓和萊布尼茲類似，一個認為是微小的量，一個認為是流數，也是吵了大半個世紀。

在統計當中我們統計的目的是真實值。好比我們統計人口，我們每五年一次人口普查就是為了知道我們國家到底有多少人。以及各個年齡階段人口的數量，以及我們的出生率和死亡率。來為我們到底要不要開放二胎做準備。然而不是所有的問題都可以像人口普查一樣來進行。在統計中我們最常用的做法是統計盡可能多的數，然後取平均數。可是有時候我們無法直接拿到我們想要的那個數。如果我們想拿到的那個數不是像測量一個西瓜的外徑，或是門窗的大小，而是你隻能測量出和其相關的量，這個值和你需要的值之間有個關系，線性的或是非線性的，這個時候該怎麼辦呢？比如你想測量地球直徑，怎麼測？你總不能拿着尺子量吧，那需要多大的尺子呢。顯然你需要間接測量出這個，實際上最小二乘法就是來自于測量地球子午線的長度。

例如我想測量x1,x2,x3這三個值，但是你不能直接測量出這個值，隻能測量出和其相關的值θ1,θ2,θ3而θ1,θ2,θ3和x1,x2,x3之間呈現x1*θ1 x2*θ2 x3*θ3=0。這個時候隻要測量出三組θ1,θ2,θ3就可以組成這個方程組，也就可以解出這個方程，這樣就可以測出我們想要的值了。但是這樣真的正确嗎？好像不對，因為根據經驗，如果我們想要得到盡可能的準确真實值，我們就多多的測量，然後取平均值。但是間接測量出來的值如何盡可能多的取值呢？你總不能真的隻測三組值吧，還是需要盡可能的多的測量。然而這就就有一個很有意思的問題了。這是一個三元一次方程，隻需三個方程組就可以解出這個方程。你卻測出了大于三個，比如你測了100個。也就是說這有三個未知數，隻需要三個方程就可以了，你手裡卻又100個方程，怎麼辦？選擇哪三個好呢？總要選擇三個來解這個方程吧！當時的人們是怎麼做的呢？真是各有奇招，也各有想法。1，平均分，比如三個未知數，我就測量90組數據，然後就有了90個方程，前三十個相加組成一個方程，中間三十個相加組成一個，後三十相加組成一個，這樣就可以組成三個了，當然也可以解出方程來。還有更加奇葩的想法，當屬偉大的拉普拉斯，拉普拉斯給出了各種奇怪的組合，比如将所有方程相加為一個方程，然後取前一半之和減去後一半之和為一個方程等等各種奇葩的組合，拉普拉斯自己都沒有給出為什麼這樣組合，這個和他在正态分布一樣，主觀的給出了一個沒有充分理由的方程，然後在那條路上越走越遠，最終正态分布花叫做高斯分布而不是拉普拉斯分布。那上面說的到底有沒有道理了，或是到底能不能服衆呢？顯然不能，沒有理論依據或是沒有好的說法，大家都接受不了。那到底什麼方法可以解決這問題了。勒讓德在這裡想出了一個解決的方法，事實上這個方法的來源似乎和正太分布被解決時有些異曲同工之妙，就是不拘泥于某個具體的細節，而是提出一個處理問題的方式或是處理問題的原則。這樣能找出解決問題的方法，也最能被大家接受。勒讓德并沒有去尋找解決方程的方法，而是轉而去考慮怎麼來處理誤差。在方程x1*θ1 x2*θ2 x3*θ3=0中，由于測量時肯定有誤差，也就是會出現x1*θ1 x2*θ2 x3*θ3≠0的情況，應該說是基本都不會等于0。由于每個方程都有誤差，有的方程誤差大一些，有的方程誤差小一些，尤其是我們并不知道哪個方程的誤差小，也就是我們無法來選擇到底用哪個方程來求解，這個時候勒讓德給出了他的思考:整體來考慮誤差，要讓所有方程均勻的來分攤誤差。哪到底如何來操作呢？我不清楚勒讓德當時到底是怎麼考慮的，也就是如何才能讓每個方程盡可能的均勻來分攤誤差，而讓整體更加平衡呢？其實沒有辦法來具體操作出每個方程的誤差盡可能小，而是間接的來操作。這個方法很巧妙，就是讓所有方程的誤差之和最小。其實細細想來也是這個道理，如果方程誤差之和最小，按照最傳統的思想将這些誤差平均分配到每個方程上，那麼每個方程的誤差就是最小了，因為如果誤差之和不是最小的，你無論采用何種方式來分配，最終的結果是什麼呢？最終的結果是總有一部分方程的誤差比誤差平均值大，另一部分的誤差比平均值也小，當你的平均值越大也就會出現比平均值大的誤差，這樣當誤差越大對于方程求解顯然不利。(在這裡我們要做一個假設就是我們的測量是符合同一個正态分布的，事實上也應當如此。也就是說，我們進行測量，比如測量了180次，前90次和後90次應該是符合同一個正态分布。)當要讓誤差之和最小該如何處理呢?全部相加肯定不是一個好的方法，因為誤差有正有負，相加的結果若是為0就不好處理了，所以将其平方後全部誤差為正數相加後即可。當然你取絕對值或是四次方也可以，但是絕對值有很多不好的地方就是會有很多地方不可而四次方計算會過于複雜，這樣就普遍的采用了平方，可導，好計算，成為首選。當對整個方程組平方後求和，然後求其最小值就是對各個參數求偏導數，這樣也就可以确定參數了。

最後來看看勒讓德自己的說法，勒讓德在其著作裡曾經寫下這麼一段話:使誤差平方和最小，在各方程的誤差之間建立一種平衡，防止某一誤差取得支配地位，而這有助于揭示系統更加接近真實系統的狀态。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!