tft每日頭條

 > 圖文

 > 為什麼梯度是上升最快的方向

為什麼梯度是上升最快的方向

圖文 更新时间:2024-11-25 08:41:59

摘要

本文主要圍繞為什麼梯度方向是函數最快下降的方向展開,共分為兩部分,分别是基本定義部分和證明部分。

一、基本定義:分别複述了導數、偏導數和方向導數。

二、證明部分:用了兩種證明方式,分别是基于定義證明和基于泰勒展開證明。

1. 概念定義1.1 導數

設一元函數f(x)在x0的某個鄰域内有定義,當自變量x在x0處有增量,且增量也在鄰域内,如果當x趨于零,極限存在(增量f和增量x),則稱函數在點x0處可導,并稱此極限為函數在點x0處的導數,記作

為什麼梯度是上升最快的方向(為什麼負梯度的方向下降最快)1

導數的幾何意義:曲線上某一點的切線斜率

1.2 偏導數

在上面的導數定義中,導數即是函數的變化率,對于多元函數來說,變量有多個,此時當沿某一個自變量方向變化時,此時的變化率即是偏導數。

Note:注意和導數的區别,導數中僅有一個自變量,而偏導數中則會有多個自變量

1.3 方向導數

上面無論是導數還是偏導數,其方向均是沿着自變量的方向,如果此時想對任意一個方向求導呢,此時則可用方向導數來表示,

在函數定義域内的點,對某一方向求導得到的導數稱之為方向導數。

下面分别以二元函數和三元函數來表示,

為什麼梯度是上升最快的方向(為什麼負梯度的方向下降最快)2

1.4 梯度

梯度是一個向量,其中向量中的每個元素表示函數對某一個自變量的偏導,具體表示某一函數在某一固定點處沿此方向變化最快,或者說變化率最大(該值為梯度的模)。

為什麼梯度是上升最快的方向(為什麼負梯度的方向下降最快)3

2. 為什麼梯度方向是最快下降方向?2.1 定義角度證明

(1)首先證明梯度方向為函數變化最快的方向

梯度是一個向量,表示某一函數在某一固定點處沿此方向變化最快,或者說變化率最大(該值為梯度的模)。

為什麼梯度是上升最快的方向(為什麼負梯度的方向下降最快)4

2.2 最優化角度證明

首先問題轉化一下,如下所示,

設n元函數f(x1, x2, ..., xn)在空間G内有定義且具有一階連續偏導數,點P(x1,..,xn)屬于G,在點P處沿方向θ移動。

問題: 當θ取什麼方向時,函數在點P下降最快?

證明:

對f(P θ)在點P點處進行一階泰勒展開,有如下,

f(P θ) ≈ f(P) ▽f(P) • θ

對上式轉換後,有如下關系,

f(P) - f(P θ) ≈ -▽f(P) • θ

函數f在點​P下降最快,相當于最大化f(P) - f(P θ)​,也就是最大化-▽f(P) • θ​,也即最小化▽f(P) • θ,後續證明問題和上面一緻。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关圖文资讯推荐

热门圖文资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved