​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​此賬号為華為雲開發者社區官方運營賬号，提供全面深入的雲計算前景分析、豐富的技術幹貨、程序樣例，分享華為雲前沿資訊動态

本文分享自華為雲社區《最小二乘法介紹》，作者：Yan 。

最小二乘法是一種在誤差估計、不确定度、系統辨識及預測、預報等數據處理諸多學科領域得到廣泛應用的數學工具。最小二乘很簡單，也在業界得到了廣泛使用。

但是對于最小二乘法和它的故事，也許很多人并不了解，今天給大家做一下分享。

1801年，意大利天文學家朱賽普·皮亞齊發現了第一顆小行星谷神星。經過40天的跟蹤觀測後，由于谷神星運行至太陽背後，使得皮亞齊失去了谷神星的位置。随後全世界的科學家利用皮亞齊的觀測數據開始尋找谷神星，但是根據大多數人計算的結果來尋找谷神星都沒有結果。

時年24歲的高斯也計算了谷神星的軌道。奧地利天文學家海因裡希·奧伯斯根據高斯計算出來的軌道重新發現了谷神星。

高斯使用的最小二乘法的方法發表于1809年他的著作《天體運動論》中，而法國科學家勒讓德于1806年獨立發現“最小二乘法”，但因不為世人所知而默默無聞。

為了方便大家理解最小二乘法，給大家講個故事。

假設身高是變量X，體重是變量Y，我們都知道身高與體重有比較直接的關系。生活經驗告訴我們：一般身高比較高的人，體重也會比較大。但是這隻是我們直觀的感受，隻是很粗略的定性的分析。

在數學世界裡，我們大部分時候需要進行嚴格的定量計算：能不能根據一個人的身高，通過一個式子就能計算出他或者她的标準體重？

我們可以采樣一批人的身高體重數據， (x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)，其中x是身高，y是體重。

生活常識告訴我們：身高與體重是一個近似的線性關系，用最簡單的數學語言來描述就是y = \beta_0 \beta_1xy=β0​ β1​x。

于是，接下來的任務就變成：怎麼求出這個β0​與β1​呢？

為了計算β0​,β1​​的值，我們采取如下規則：β0​,β1​應該使計算出來的函數曲線與觀察值的差的平方和最小。用數學公式描述就是：

其中，y_{ie}yie​表示根據y=\beta_0 \beta_1xy=β0​ β1​x估算出來的值，y_iyi​是觀察得到的真實值。

這樣，樣本的回歸模型很容易得出：

現在需要确定β0​、β1​，使cost function最小。大家很容易想到，對該函數求導即可找到最小值：

将這兩個方程整理後使用克萊姆法則，很容易求解得出：

根據這個公式，隻需要将樣本都帶入就可以求解出相應的參數。

如果我們推廣到更一般的情況，假如有更多的模型變量x1,x2,⋯,xm（注意：x_1x1​是指 一個樣本，x1是指樣本裡的一個模型相關的變量)，可以用線性函數表示如下：

y(x1,⋯,xm;β0​,⋯,βm​)=β0​ β1​x1 ⋯ βm​xm

對于n個樣本來說，可以用如下線性方程組表示：

如果将樣本矩陣x_i^hxih​記為矩陣A,将參數矩陣記為向量\betaβ，真實值記為向量Y，上述線性方程組可以表示為：

即A \beta = YAβ=Y

對于最小二乘來說，最終的矩陣表達形式可以表示為：

min∣∣Aβ−Y∣∣2​

最後的最優解為：

β=(ATA)−1ATY

2021華為雲 AI 實戰營——華為雲員工都在學的AI實戰營，快來報名免費學習吧~華為雲AI實戰營_雲主機_雲服務器_華為雲

點擊關注，第一時間了解華為雲新鮮技術~華為雲博客_大數據博客_AI博客_雲計算博客_開發者中心-華為雲

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!