tft每日頭條

 > 圖文

 > 最常用的優化方法最小二乘法

最常用的優化方法最小二乘法

圖文 更新时间:2025-02-09 16:42:42

在前面房價預測案例中,我們提出了如下的hypothesis function:

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)1

為了确保hypothesis function足夠“完美”,我們又引入了cost function:

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)2

通過前面的講解,我們知道,hypothesis function足夠“完美”,需要滿足如下條件:

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)3

前面章節中,hypothesis function中的變量θ0、θ1,是我們手動算出來的,那麼機器學習算法又是如何計算這些參數的呢?

接下來,介紹一種最基本的機器學習算法:最小二乘法(Least Squares Algorithm),并介紹最小二乘法如何得到這些參數,從而使hypothesis function足夠“完美”。

介紹算法之前,我們先了解一下這個算法的曆史,加深下印象。

1801年,意大利天文學家朱賽普·皮亞齊發現了第一顆小行星谷神星。經過40天的跟蹤觀測後,由于谷神星運行至太陽背後,使得皮亞齊失去了谷神星的位置。随後全世界的科學家利用皮亞齊的觀測數據開始尋找谷神星,但是根據大多數人計算的結果來尋找谷神星都沒有結果。時年24歲的高斯也計算了谷神星的軌道。

3:函數和/差的導數為:

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)4

4:函數積的導數為:

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)5

5:函數商的導數為:

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)6

下面分别對求θ0、θ1偏導數:

對θ0求偏導數(此時θ0作為自變量,θ1和x都作為常數處理):

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)7

對θ1求偏導數(此時θ1作為自變量,θ0和x都作為常數處理):

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)8

從偏導數的求解結果來看,兩個偏導數函數構成一個二元一次方程組,其中自變量為θ0和θ1,x(i)和y(i)都是常數,求解二元一次方程組對計算機來說,so easy!

最小二乘法内容基本就這些,下一章我們再介紹下feature比較多時,最小二乘法的變種:正規方程。

最後,為了方便大家理解,我們還是training set中的數據,代入偏導數方程,具體求解過程就不再講解。

這裡再列一下我們的training set:

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)9

最常用的優化方法最小二乘法(機器愛學習03最小二乘法)10

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关圖文资讯推荐

热门圖文资讯推荐

网友关注

Copyright 2023-2025 - www.tftnews.com All Rights Reserved