拉格朗日乘子(Lagrange Multipliers)

梯度是理解拉格朗日乘數法的關鍵。

找到函數當x,y,z是不獨立時f(x,y,z)的最小值或最大值，即有約束條件g(x,y,z)=c。

對于簡單的約束條件，可以先把x,y,z的關系解出來，代入到原方程中。但是更加複雜的約束條件就不能這麼解了。

先來看一個例子，找雙曲線(hyperbola) xy=3 上離原點最近的點。等價的數學表達式是：

可以先畫出 x^2 y^2 的等高線圖，不同c的高線上每一個點 (x,y) 到原點的距離的平方都是常數c值。這個例子的幾何意義就是在雙曲線上找到距離原點最近的點。

主題無關，使用lambda符号代表拉格朗日乘子，很有可能是向拉格朗日緻敬，因為都以L開頭

現在要做的就是求解x,y和lambda三個未知量。

再加上限制條件g，三個方程三個未知數，答案就得到了：

首先x和y都等于0并不滿足限制條件，所以是一組平凡解。非平凡解要求矩陣的行列式為0。

得到的值分别代入求證，找到最終解。

補充一點，拉格朗日乘法無法判斷是最大值還是最小值，在三維空間中還有可能是鞍點。

證明

一個函數在某種限制條件下的最小點或者最大點，這時，如果在g的等值面上移動，則y的值一定是增加或者減少的。而且f的一階導數符号不會改變。

沒有限制條件g的時候，最大值或者最小值的偏導數為0。在有限制條件的時候，偏導數隻有在固定的方向上才是0，即指向g的等值面的延伸方向。

有限制條件的最小值或者最大值，在任何g=c的方向上，f的變化率是0。

從方向導數角度來看：

考慮任意一個與 g=c 相切的向量

都有：

所以：

由于：

所以：

對于梯度和等值面，參考《五分鐘MIT公開課-多元微積分：梯度》。

如圖，紅色向量為u，是P在g=c上的切線，f是平面的情況

有最大值的情況:

有最小值的情況:

再來看一個例子：

函數圖像是這樣子的：

可行解都在限制條件g(x,y)上，如圖所示為等高線圖:

目标優化方程f(x,y)梯度向量:

限制條件g(x,y)梯度向量:

紅圈處為最優解，梯度向量互相平行。

警告：如何知道是最小值還是最大值？

不能知道，而且不能用二次導來驗證，隻能帶入值來求解。

複雜例子

當有時候函數或者約束條件複雜，拉格朗日法計算也很吃力，牢記拉格朗日法的本質，會化繁為簡。

已知金字塔的體積，找一個表面積最小的金字塔。

底面三點P1(x1,y1)，P2(x2,y2)，P1(x3,y3)，要求頂點P(x,y,h)

由于高是固定的，來看下金字塔的底面，u1，u2，u3分别是到a1，a2，a3三條邊的距離：

某一側邊的高是：

側面的總面積 f(u1,u2,u3)：

限制條件底面面積 g(u1,u2,u3)：

使用拉格朗日乘數法方程：

也就是

頂點距離三條底邊距離相等的時候，總面積最小。

傳送門

五分鐘MIT公開課-多元微積分：向量，行列式和平面

五分鐘MIT公開課-多元微積分：梯度

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部