摘要
本文主要圍繞為什麼梯度方向是函數最快下降的方向展開,共分為兩部分,分别是基本定義部分和證明部分。
一、基本定義:分别複述了導數、偏導數和方向導數。
二、證明部分:用了兩種證明方式,分别是基于定義證明和基于泰勒展開證明。
1. 概念定義1.1 導數設一元函數f(x)在x0的某個鄰域内有定義,當自變量x在x0處有增量,且增量也在鄰域内,如果當x趨于零,極限存在(增量f和增量x),則稱函數在點x0處可導,并稱此極限為函數在點x0處的導數,記作
導數的幾何意義:曲線上某一點的切線斜率
1.2 偏導數在上面的導數定義中,導數即是函數的變化率,對于多元函數來說,變量有多個,此時當沿某一個自變量方向變化時,此時的變化率即是偏導數。
Note:注意和導數的區别,導數中僅有一個自變量,而偏導數中則會有多個自變量
1.3 方向導數上面無論是導數還是偏導數,其方向均是沿着自變量的方向,如果此時想對任意一個方向求導呢,此時則可用方向導數來表示,
在函數定義域内的點,對某一方向求導得到的導數稱之為方向導數。
下面分别以二元函數和三元函數來表示,
1.4 梯度
梯度是一個向量,其中向量中的每個元素表示函數對某一個自變量的偏導,具體表示某一函數在某一固定點處沿此方向變化最快,或者說變化率最大(該值為梯度的模)。
2. 為什麼梯度方向是最快下降方向?2.1 定義角度證明
(1)首先證明梯度方向為函數變化最快的方向
梯度是一個向量,表示某一函數在某一固定點處沿此方向變化最快,或者說變化率最大(該值為梯度的模)。
2.2 最優化角度證明
首先問題轉化一下,如下所示,
設n元函數f(x1, x2, ..., xn)在空間G内有定義且具有一階連續偏導數,點P(x1,..,xn)屬于G,在點P處沿方向θ移動。
問題: 當θ取什麼方向時,函數在點P下降最快?
證明:
對f(P θ)在點P點處進行一階泰勒展開,有如下,
f(P θ) ≈ f(P) ▽f(P) • θ
對上式轉換後,有如下關系,
f(P) - f(P θ) ≈ -▽f(P) • θ
函數f在點P下降最快,相當于最大化f(P) - f(P θ),也就是最大化-▽f(P) • θ,也即最小化▽f(P) • θ,後續證明問題和上面一緻。
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!